问题现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因 若Group的 自动创建 栏为 否，说明此Group创建于 云消息队列 Kafka 版 控制台 的 Group ...
在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在 云消息队列 Kafka 版 控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件 创建并部署 云消息队列 Kafka 版 ...
本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版 并收发消息。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...
本文介绍如何通过创建AnalyticDB Sink Connector，将数据从 云消息队列 Kafka 版 实例的数据源Topic通过函数计算服务导出至 云原生数据仓库 AnalyticDB MySQL 版 或云原生数据仓库AnalyticDB PostgreSQL版。前提条件 在导出数据前，请确保...
云消息队列 Kafka 版 Serverless实例支持代码写入直接创建Group，无需在控制台手动创建，方便使用提升效率。注意事项 自由使用的Group的数量需遵循 云消息队列 Kafka 版 实例的规格限制，否则Group不能被自由使用。具体信息，请参见 使用...
本文介绍 云消息队列 Kafka 版 的SDK和API及Terraform的支持情况，供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform
前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且该实例必须满足以下条件：项目 说明 状态 服务中。版本 大版本为2.2.0，且小版本为最新版本。说明 您可以在 云消息队列 Kafka 版 控制台的 实例详情 页面的 基础信息 区域查看实例的...
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将 云消息队列 MQTT 版 中的数据快速导入至 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买...
针对各种业务需求，云消息队列 Kafka 版 提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程 最佳实践 生态对接
云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更...
在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版 控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件 创建并部署 云消息队列 Kafka 版...
如果仅需要在VPC网络接入 云消息队列 Kafka 版，您可以购买并部署VPC实例。前提条件 已授予 云消息队列 Kafka 版 访问其他云服务资源的权限。具体信息，请参见 步骤一：获取访问授权。已搭建VPC网络。具体操作，请参见 创建和管理专有网络...
云存储和Local存储。云消息队列 Kafka 版 实例支持云存储和Local存储。详情请参见 存储引擎对比。
适用场景 在线短任务处理 AI音视频消息处理 监控告警 数据格式转换 操作流程 在Knative上实现 云消息队列 Kafka 版 消息推送的操作流程如下图所示。部署Kafka组件 登录 容器服务控制台。在左侧导航栏，单击 集群列表。在 集群列表 页面，...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入任务，将 轻量消息队列（原 MNS）中的数据快速导入 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和...
云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 购买并部署 云消息队列 Kafka 版 实例。本文以非Serverless实例为例进行说明，具体操作请参见 VPC接入。...
部署架构图 选用的产品 云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...
如果需要同时在VPC网络和公网接入 云消息队列 Kafka 版，您需要购买并部署公网/VPC实例。前提条件 已授予 云消息队列 Kafka 版 访问其他云服务资源的权限。具体信息，请参见 获取访问授权。已搭建VPC网络。具体操作，请参见 创建和管理专有...
云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。本文以非Serverless...
本文介绍如何在 云消息队列 Kafka 版 控制台查看Connector任务配置信息、查看Connector日志、启暂停Connector、修改Connector配置、测试Connector、查看消费详情和删除Connector。前提条件 您已创建以下任意一种Connector：创建FC Sink ...
本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件 在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...
云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC...
问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...
问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。本文以非Serverless...
变更内容 为了给您提供更优质、更稳定的产品服务，云消息队列 Kafka 版 V1版本计划于2025年11月30日下线，详情可查看产品公告和通知（短信、邮件、站内信、风险告警）。现就下线计划为您做如下提醒：2026年05月31日起，阿里云将不再提供...
当您需要将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至阿里云Elasticsearch的索引，您可以通过Elasticsearch Sink Connector实现。本文介绍如何创建Elasticsearch Sink Connector。前提条件 在导出数据前，请确保您已完成以下操作...
本文介绍如何将 云消息队列 Kafka 版 接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...
云消息队列 Kafka 版 提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；需要链路加密和消息鉴权，建议使用SSL...
注意事项 查询到的每条消息在 云消息队列 Kafka 版 控制台上最多显示1 KB的内容，超过1 KB的部分将自动截断。如需查看完整的消息内容，请下载相应的消息，下载的消息最大为10 MB，如果超过10 MB，则只下载10 MB的内容。查询结果最多显示10...
在创建并部署 云消息队列 Kafka 版 实例后，您可以使用 云消息队列 Kafka 版 控制台直接发送消息，快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...
使用 云消息队列 Kafka 版 提供的客户端IP查询功能，您可以在控制台查询到发送和消费消息的IP地址，帮助您进行问题定位、消费跟踪。注意事项 统计的IP信息是从客户端通过 Kafka 的API请求到服务端的采样日志中获取的。统计数量表示服务端在...
在 交换机 页面，查看以下信息：交换机 实例ID/名称 专有网络 可用区 说明 请根据该页面的可用区（A～G）在 云消息队列 Kafka 版 控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在 可用区B，那么在 云消息队列 Kafka...
本文介绍 云消息队列 Kafka 版 发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息 发送消息的示例代码如下：Future ...
华北2（北京）kafka 实例 选择生产 云消息队列 Kafka 版 消息的源实例。alikafka_post-cn-jte3*Topic 选择生产 云消息队列 Kafka 版 消息的Topic。demo-topic Group ID 选择源实例的消费组名称。快速创建：推荐方案，自动创建以 GID_...
本文主要介绍 云消息队列 Kafka 版 订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡 每个 ...
在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权（sasl.mechanisms）...
在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权（sasl.mechanisms）...
本文介绍 云消息队列 Kafka 版 支持对接的生态。阿里云生态 云数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...
本文主要介绍 云消息队列 Kafka 版 订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡 每个 ...