本文介绍 云消息队列 Kafka 版 的SDK和API及Terraform的支持情况，供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform
针对各种业务需求，云消息队列 Kafka 版 提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程 最佳实践 生态对接
部署架构图 选用的产品 云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将 云消息队列 MQTT 版 中的数据快速导入至 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买...
云存储和Local存储。云消息队列 Kafka 版 实例支持云存储和Local存储。详情请参见 存储引擎对比。
本文介绍如何在 云消息队列 Kafka 版 控制台查看Connector任务配置信息、查看Connector日志、启暂停Connector、修改Connector配置、测试Connector、查看消费详情和删除Connector。前提条件 您已创建以下任意一种Connector：创建FC Sink ...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 轻量消息队列（原 MNS）。前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买...
当您需要将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至阿里云Elasticsearch的索引，您可以通过Elasticsearch Sink Connector实现。本文介绍如何创建Elasticsearch Sink Connector。前提条件 在导出数据前，请确保您已完成以下操作...
在 交换机 页面，查看以下信息：交换机 实例ID/名称 专有网络 可用区 说明 请根据该页面的可用区（A～G）在 云消息队列 Kafka 版 控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在 可用区B，那么在 云消息队列 Kafka...
问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...
问题现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面删除Group后，此Group的状态一直处于 删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案 登录 云消息队列 Kafka 版 控制台，查看...
问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...
本文介绍如何将 云消息队列 Kafka 版 接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...
本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件 在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...
云消息队列 Kafka 版 提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；需要链路加密和消息鉴权，建议使用SSL...
自动创建Topic是指当 云消息队列 Kafka 版 实例发送请求以获取不存在的Topic元数据时，例如向不存在的Topic发送生产请求，云消息队列 Kafka 版 可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景，无需手动重复创建Topic，...
本文介绍 云消息队列 Kafka 版 发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息 发送消息的示例代码如下：Future ...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 云消息队列 RabbitMQ 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且实例处于服务中状态。具体步骤，请参见 步骤二：购买和...
本文为您介绍在 云消息队列 Kafka 版 控制台如何快速进行消息发送测试。快速体验消息收发 登录 云消息队列 Kafka 版 控制台，在左侧导航栏，单击 实例列表。在顶部菜单栏，选择地域，然后在 实例列表 页面单击目标实例名称。在左侧导航栏，...
使用 云消息队列 Kafka 版 提供的客户端IP查询功能，您可以在控制台查询到发送和消费消息的IP地址，帮助您进行问题定位、消费跟踪。注意事项 统计的IP信息是从客户端通过 Kafka 的API请求到服务端的采样日志中获取的。统计数量表示服务端在...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。您已...
前提条件 部署与管理Knative组件 购买并部署云消息队列 Kafka 版实例 重要 云消息队列 Kafka 版 实例和Knative必须处于同一VPC内。云消息队列 Kafka 版 实例的版本必须为2.0.0或以上。创建Topic 创建Group 背景信息 Knative是一款基于...
问题现象 您已启动某个Group的消费线程，但在 云消息队列 Kafka 版 控制台 的 Topic 详情 页面的 订阅关系 页签，查不到Topic被Group订阅的信息，或者在 Group 详情 页面的 消费状态 页签，查不到该Group订阅的Topic信息。可能原因 客户端...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入任务，将 云消息队列 RocketMQ 版 的数据快速导入至 云消息队列 Kafka 版。前提条件 您已购买Kafka实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。您已...
云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护 感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...
本产品（云消息队列 Kafka 版/2019-09-16）的OpenAPI采用 V3版本请求体&签名机制 签名风格，签名细节参见 V3版本请求体&签名机制。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术...
在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权（sasl.mechanisms）...
在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权（sasl.mechanisms）...
登录 云消息队列 Kafka 版 控制台，在 概览 页面的 资源分布 区域，选择地域。在 实例列表 页面，单击目标实例名称。在 实例详情 页面，单击 概览 区域右上角的 续费。在 续费 面板，选择购买时长，并选中 消息队列 Kafka（包年包月）服务...
前提条件 创建服务关联角色 角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版 使用该角色访问您的服务（云监控和ARMS服务）以完成云监控和仪表盘相关功能。...
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建消息流出任务，将 云消息队列 RabbitMQ 版 的数据导出至 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 RabbitMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：创建...
本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版 并收发消息。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...
为什么需要升级实例来支持监控告警功能？报警项状态显示数据不足怎么办？...为什么不能登录部署云消息队列 Kafka 版的机器？删除Group后仍然收到消息堆积的告警信息 为什么告警堆积量和控制台堆积量不一致？监控数据相关问题
可能原因 您使用的 云消息队列 Kafka 版 实例版本过旧，请将实例的小版本升级至最新版本以支持报警数据上报。解决方案 登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域，选择地域。在 实例列表 页面，单击目标实例名称。在...
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...
本文介绍 云消息队列 Kafka 版 支持对接的生态。阿里云生态 云数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...
本文主要介绍 云消息队列 Kafka 版 订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡 每个 ...
本文主要介绍 云消息队列 Kafka 版 订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡 每个 ...
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。背景信息 大数据计算服务MaxCompute（原ODPS）是一种大数据计算服务，能提供快速、...
AliyunKafkaFullAccess：管理 云消息队列 Kafka 版 的权限。AliyunFCFullAccess：管理 函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理 事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...