云消息队列 Kafka 版 提供全托管、免运维的实例迁移服务,支持把自建Kafka集群的元数据(Topic和Group配置信息)和消息数据同步到 云消息队列 Kafka 版 实例,迁移完成后 云消息队列 Kafka 版 实例的元数据与自建Kafka集群的元数据保持一致...
本文为您介绍如何使用开源工具,独立完成将自建Kafka集群的数据迁移至 云消息队列 Kafka 版 实例。迁移流程 注意事项 如果是将阿里云上自建的Kafka集群进行迁移,建议在与自建Kafka集群相同地域购买 云消息队列 Kafka 版 实例,并在部署时...
实例的地域无法变更 云消息队列 Kafka 版何时删除旧消息?如何快速测试云消息队列 Kafka 版服务端是否正常?是否支持延迟消息?能否通过公网访问云消息队列 Kafka 版实例?不同VPC之间是否支持互连?经典网络是否必须要选择172.16.0.0/12...
本文为您介绍 云消息队列 Kafka 版 客户端发送消息的常见问题。哪里可以找到发送最佳实践?如何进行发送消息的测试?使用客户端发送消息后,如何确定是否发送成功?生产者会建立多少个到Broker的连接?Java客户端设置回调是否会影响消息...
云消息队列 Kafka 版(ApsaraMQ for Kafka)秉持开放的原则拥抱开源,全面融合Kafka开源生态,做到无缝迁移,打造更安全、更可靠、更易运维的Kafka企业级消息服务。
云消息队列 Kafka 版 集成了HouseKeeping(健康巡检组件),定时对集群进行全面扫描诊断,并能针对不健康的状态进行告警。本文将为您详细介绍 云消息队列 Kafka 版 的巡检功能。巡检说明 为了进一步提升集群的稳定性和服务的可靠性,云消息...
本文介绍 云消息队列 Kafka 版 的典型应用场景,包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪 成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 版 的发布/订阅模型,您可以实时收集网站活动数据...
云消息队列 Kafka 版 服务端支持收发压缩消息。如需使用压缩消息,您需要在 云消息队列 Kafka 版 的客户端进行设置。在 云消息队列 Kafka 版 客户端进行消息压缩的说明如下:压缩格式:支持Snappy、LZ4、GZIP等压缩格式。其中,GZIP对CPU的...
本文为您介绍使用 云消息队列 Kafka 版 时出现 Not authorized to access group 错误信息的原因和解决办法。问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会...
本文为您介绍使用 云消息队列 Kafka 版 时出现 Not authorized to access group 错误信息的原因和解决办法。问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会...
如需使用客户端连接 云消息队列 Kafka 版 收发消息,您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;同时需要链路...
本文描述消息队列Kafka版支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制(RAM)...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务,将指定 云消息队列 Kafka 版 实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请参见...
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务,将指定 云消息队列 Kafka 版 实例中的数据快速导入至另外的 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请...
当 云消息队列 Kafka 版 控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时,您可以使用 云消息队列 Kafka 版 消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...
步骤四:调用 云消息队列 Kafka 版 OpenAPI 示例一:获取支持阿里云CLI调用 云消息队列 Kafka 版 OpenAPI列表 以下示例将为您展示如何使用-help 选项获取支持阿里云CLI调用的 云消息队列 Kafka 版 OpenAPI列表。您也可在 API概览 中查看...
本文介绍如何在 云消息队列 Kafka 版 控制台完成实例升配,升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件 实例处于 服务中 或 未部署 状态。实例中没有进行中的Topic引流任务。注意事项 升级实例配置会引发集群逐台...
云消息队列 Kafka 版 会定义一个商业化的稳定内部版本,并在此版本上持续迭代特性、修复 Bug 及安全隐患。本文介绍 云消息队列 Kafka 版 支持机制,包括版本发布与支持情况、版本生命周期说明以及版本支持策略等内容。版本发布 云消息队列 ...
本文介绍如何将 云消息队列 Kafka 版 接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置,从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...
本文为您介绍 云消息队列 Kafka 版 监控报警的常见问题。为什么需要升级实例来支持监控告警功能?报警项状态显示数据不足怎么办?如何监控开源Apache Kafka?为什么阿里云账号能看到监控信息而RAM用户看不到监控信息?为什么不能登录部署云...
哪里可以找到发送最佳实践?如何进行发送消息的测试?使用客户端发送消息后,如何...使用云消息队列 Kafka 版时客户端的报错及解决方案 无法ping通云消息队列 Kafka 版的接入点 开启幂等功能,发送消息报“Cluster authorization failed”错误
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入任务,将 轻量消息队列(原 MNS)中的数据快速导入 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请参见 步骤二:购买和...
本文介绍如何在 云消息队列 Kafka 版 控制台创建迁移任务,将自建Kafka集群的元数据迁移至 云消息队列 Kafka 版 实例。迁移流程 注意事项 Serverless实例暂不支持元数据导入任务。当自建Kafka集群不支持公网访问时,建议采用元数据导入的...
网络类型为公网/VPC的 云消息队列 Kafka 版 实例支持通过公网访问。云消息队列 Kafka 版 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...
在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的 云消息队列 Kafka 版 集群不支持上报监控告警数据,因此需要升级旧版本的 云消息队列 Kafka 版 实例集群,让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...
网络类型为公网/VPC的 云消息队列 Kafka 版 实例支持通过公网访问。云消息队列 Kafka 版 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...
和开源Apache Kafka一样,云消息队列 Kafka 版 同样不支持延迟消息。
详细信息 以非公网的方式访问云消息队列 Kafka 版实例时,必须满足以下两个条件:ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内,请根据实际情况,重新创建或部署...
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务,将 云消息队列 RabbitMQ 版 中的数据快速导入至 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请参见 步骤二:购买和...
本文介绍如何通过创建SLS Sink Connector,通过 事件总线EventBridge 将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至日志服务SLS。前提条件 云消息队列 Kafka 版 为 云消息队列 Kafka 版 实例开启Connector。更多信息,请参见 开启...
问题描述 无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...
本文介绍如何创建OSS Sink Connector将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至对象存储OSS。前提条件 在导出数据前,请确保您已完成以下操作:为 云消息队列 Kafka 版 实例开启Connector。更多信息,请参见 开启Connector。为...
六分钟上手 云消息队列 Kafka 版。文档教程 快速入门
问题描述 无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...
本文汇总了 云消息队列 Kafka 版 的常见问题与以及服务等级协议。服务支持 常见问题 相关协议
概述 暂不支持通过代理访问云消息队列 Kafka 版实例,具体请查看 详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...
本文为您介绍 云消息队列 Kafka 版 实例选择单可用区部署,在出现可用区级别的故障时,如何快速转移故障,恢复服务正常。背景信息 云消息队列 Kafka 版 实例如果选择单可用区部署,在可用区级别的故障时,可能会出现服务完全不可用,数据...
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务,将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例:购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
云消息队列 Kafka 版 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 版 对此进行了优化,单个集群的分区数理论上没有上限。但...
问题现象 我在 云消息队列 Kafka 版 控制台 上,未查看到对应的Group,但此Group下却有消费线程在消费消息。可能原因 如果客户端使用 assign 方式消费消息,那么即使不创建Group,也可能消费消息。如果客户端使用 subscribe 方式消费消息,...