消息队列 Kafka应用场景

_相关内容

查看接入点

如需使用SDK接入 云消息队列 Kafka 收发消息,您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 控制台查看接入点。背景信息 云消息队列 Kafka 提供以下类型的接入点:默认接入点:适用于在VPC环境...

为什么不能登录部署云消息队列 Kafka 的机器?

云消息队列 Kafka 提供全托管免运维服务,您无需登录机器。云消息队列 Kafka 是全托管的,由 云消息队列 Kafka 专业团队进行运维保障,您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

步骤一:获取访问授权

开通 云消息队列 Kafka 服务需要使用阿里云其他云产品中的资源,因此,您需要先授权 云消息队列 Kafka 访问您所拥有的其他阿里云资源。前提条件 注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号。背景信息 为了方便您快速...

客户端首次接入云消息队列 Kafka 时出现异常的排查...

详细信息 客户端首次接入云消息队列 Kafka 时如果出现异常,您可以通过以下三个方面进行排查:网络连通问题:通常有如下几种情况可能会导致网络不通,客户端无法连接云消息队列 Kafka 的服务端。ECS实例(客户端)与云消息队列 Kafka ...

操作指南

您可以在 云消息队列 Kafka 控制台创建实例、...云消息队列 Kafka V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成 迁移 权限管理 云消息队列 Confluent 版 集群资源规格评估 实例管理 权限管理 集群配置与使用

自建Kafka集群迁移上云

使用自建Kafka集群时,当您希望业务的成本更低、弹性更强、可靠性更高时,您可以将自建Kafka集群迁移上至 云消息队列 Kafka 云消息队列 Kafka 提供全托管、免运维的服务可以让您只需专注于业务开发,无需部署运维。注意事项 迁移...

正式商用公告

正式商用细则 云消息队列 Kafka 的正式商用细则如下:为提高服务质量和用户体验,云消息队列 Kafka 全部以商用实例方式提供服务。实例的基本规格和定价信息请参见 计费概述。如果您有共享服务需求,可考虑阿里云 云消息队列 RocketMQ...

使用云消息队列 Kafka 时出现消息堆积

使用 云消息队列 Kafka 时,可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况,以及处理方法。客户端消费流程 了解客户端消费流程,有助于理解消息是否堆积。一般情况下,客户端消费流程大致如下:判断消息...

默认配置映射关系

模式 值 云消息队列 Kafka 部分事件$.data.value 轻量消息队列(原 MNS)部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

升级实例配置

适用场景及风险点 场景 风险 云消息队列 Kafka 非Serverless实例的磁盘使用率偏高,即将影响正常业务进行,需要扩容磁盘。升级后会引发集群逐台重启。云消息队列 Kafka 非Serverless实例的流量规格持续超过已购买的规格,无法满足...

Terraform

本文介绍Terraform的基本概念和针对 云消息队列 Kafka 应用场景。什么是Terraform 基本功能 Terraform是IT基础架构自动化编排工具,可以用代码来管理维护IT资源。更多信息,请参见 什么是Terraform。Terraform的命令行接口CLI...

迁移上云

云消息队列 Kafka 提供全托管、免运维的实例迁移服务,支持把自建Kafka集群的元数据(Topic和Group配置信息)和消息数据同步到 云消息队列 Kafka 实例,迁移完成后 云消息队列 Kafka 实例的元数据与自建Kafka集群的元数据保持一致...

借助工具迁移

本文为您介绍如何使用开源工具,独立完成将自建Kafka集群的数据迁移至 云消息队列 Kafka 实例。迁移流程 注意事项 如果是将阿里云上自建的Kafka集群进行迁移,建议在与自建Kafka集群相同地域购买 云消息队列 Kafka 实例,并在部署时...

为什么需要升级实例来支持监控告警功能?

在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的 云消息队列 Kafka 集群不支持上报监控告警数据,因此需要升级旧版本的 云消息队列 Kafka 实例集群,让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

什么是云消息队列 Kafka

三分钟了解阿里云 云消息队列 Kafka

云消息队列 Kafka

云消息队列 Kafka (ApsaraMQ for Kafka)秉持开放的原则拥抱开源,全面融合Kafka开源生态,做到无缝迁移,打造更安全、更可靠、更易运维的Kafka企业级消息服务。

实例问题

实例的地域无法变更 云消息队列 Kafka 何时删除旧消息?如何快速测试云消息队列 Kafka 服务端是否正常?是否支持延迟消息?能否通过公网访问云消息队列 Kafka 实例?不同VPC之间是否支持互连?经典网络是否必须要选择172.16.0.0/12...

巡检说明

云消息队列 Kafka 集成了HouseKeeping(健康巡检组件),定时对集群进行全面扫描诊断,并能针对不健康的状态进行告警。本文将为您详细介绍 云消息队列 Kafka 的巡检功能。巡检说明 为了进一步提升集群的稳定性和服务的可靠性,云消息...

查看接入点

如需使用客户端连接 云消息队列 Kafka 收发消息,您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;同时需要链路...

CLI集成示例

步骤四:调用 云消息队列 Kafka OpenAPI 示例一:获取支持阿里云CLI调用 云消息队列 Kafka OpenAPI列表 以下示例将为您展示如何使用-help 选项获取支持阿里云CLI调用的 云消息队列 Kafka OpenAPI列表。您也可在 API概览 中查看...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息 以非公网的方式访问云消息队列 Kafka 实例时,必须满足以下两个条件:ECS实例与云消息队列 Kafka 实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 实例不在同一个VPC网络实例内,请根据实际情况,重新创建或部署...

为Connector开启公网访问

如需使Connector跨地域访问其他阿里云服务,您需要为Connector开启公网访问。本文介绍如何为Connector开启公网访问。...为VPC 1下 云消息队列 Kafka 实例使用的交换机创建SNAT条目。更多信息,请参见 创建和管理SNAT条目。

创建Kafka Source Connector

本文介绍如何在 云消息队列 Kafka 控制台创建流入任务,将指定 云消息队列 Kafka 实例中的数据快速导入至另外的 云消息队列 Kafka 实例中。前提条件 您已购买 云消息队列 Kafka 实例,且实例处于 服务中 状态。具体步骤,请...

创建Kafka Sink Connector

本文介绍如何在 云消息队列 Kafka 控制台创建消息流出任务,将指定 云消息队列 Kafka 实例中的数据导出至其他的 云消息队列 Kafka 。前提条件 您已购买并部署 云消息队列 Kafka 实例,且实例处于 服务中 状态。具体步骤,请参见...

版本机制说明

云消息队列 Kafka 会定义一个商业化的稳定内部版本,并在此版本上持续迭代特性、修复 Bug 及安全隐患。本文介绍 云消息队列 Kafka 支持机制,包括版本发布与支持情况、版本生命周期说明以及版本支持策略等内容。版本发布 云消息队列 ...

Filebeat

本文介绍如何将 云消息队列 Kafka 接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置,从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

监控报警问题

本文为您介绍 云消息队列 Kafka 监控报警的常见问题。为什么需要升级实例来支持监控告警功能?报警项状态显示数据不足怎么办?如何监控开源Apache Kafka?为什么阿里云账号能看到监控信息而RAM用户看不到监控信息?为什么不能登录部署...

能否通过公网访问云消息队列 Kafka 实例?

网络类型为公网/VPC的 云消息队列 Kafka 实例支持通过公网访问。云消息队列 Kafka 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...

为什么Group不存在但能消费消息

解决方案 如果客户端使用 assign 方式消费消息或者 云消息队列 Kafka 实例开启了自由使用Group的功能,请提前在 云消息队列 Kafka 控制台创建Group。请尽量复用Group,避免创建过多的Group而影响集群的稳定性。Group的数量限制,请...

能否通过公网访问云消息队列 Kafka 实例?

网络类型为公网/VPC的 云消息队列 Kafka 实例支持通过公网访问。云消息队列 Kafka 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...

如何快速使用云消息队列 Kafka 的Java SDK收发消息

六分钟上手 云消息队列 Kafka 。文档教程 快速入门

控制台看到的最近消费时间是什么意思?

消息发布到 云消息队列 Kafka 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。

是否支持延迟消息

和开源Apache Kafka一样,云消息队列 Kafka 同样不支持延迟消息。

为什么额外增加分区要收费?

云消息队列 Kafka 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 对此进行了优化,单个集群的分区数理论上没有上限。但...

无法ping通云消息队列 Kafka 的接入点

问题描述 无法ping通云消息队列 Kafka 的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...

创建SMQ Source Connector

本文介绍如何在 云消息队列 Kafka 控制台创建消息流入任务,将 轻量消息队列(原 MNS)中的数据快速导入 云消息队列 Kafka 。前提条件 您已购买 云消息队列 Kafka 实例,且实例处于 服务中 状态。具体步骤,请参见 步骤二:购买和...

无法ping通云消息队列 Kafka 的接入点

问题描述 无法ping通云消息队列 Kafka 的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...

消息队列Kafka版删除Group后仍然收到消息堆积的告警...

问题描述 使用阿里云消息队列Kafka版时,删除Group后,仍然收到消息堆积的告警信息,如何过滤某个Group的消费堆积告警。问题原因 发生消息堆积告警信息的原因如下:2.2.0以前的Kafka服务端版本,开源Kafka未提供删除Group和消费位点的Open...

创建RabbitMQ Source Connector

本文介绍如何在 云消息队列 Kafka 控制台创建流入任务,将 云消息队列 RabbitMQ 版 中的数据快速导入至 云消息队列 Kafka 。前提条件 您已购买 云消息队列 Kafka 实例,且实例处于 服务中 状态。具体步骤,请参见 步骤二:购买和...

服务支持

本文汇总了 云消息队列 Kafka 的常见问题与以及服务等级协议。服务支持 常见问题 相关协议
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用