消息中间件-kafka

_相关内容

为什么额外增加分区要收费?

云消息队列 Kafka 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 对此进行了优化,单个集群的分区数理论上没有上限。但...

云消息队列 Kafka

云消息队列 Kafka (ApsaraMQ for Kafka)秉持开放的原则拥抱开源,全面融合Kafka开源生态,做到无缝迁移,打造更安全、更可靠、更易运维的Kafka企业级消息服务。

使用云消息队列 Kafka 时出现“Not authorized to ...

本文为您介绍使用 云消息队列 Kafka 时出现 Not authorized to access group 错误信息的原因和解决办法。问题描述 使用云消息队列 Kafka 时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会...

使用云消息队列 Kafka 时出现“Not authorized to ...

本文为您介绍使用 云消息队列 Kafka 时出现 Not authorized to access group 错误信息的原因和解决办法。问题描述 使用云消息队列 Kafka 时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会...

实例问题

实例的地域无法变更 云消息队列 Kafka 何时删除旧消息?如何快速测试云消息队列 Kafka 服务端是否正常?是否支持延迟消息?能否通过公网访问云消息队列 Kafka 实例?不同VPC之间是否支持互连?经典网络是否必须要选择172.16.0.0/12...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息 以非公网的方式访问云消息队列 Kafka 实例时,必须满足以下两个条件:ECS实例与云消息队列 Kafka 实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 实例不在同一个VPC网络实例内,请根据实际情况,重新创建或部署...

是否支持压缩消息

云消息队列 Kafka 服务端支持收发压缩消息。如需使用压缩消息,您需要在 云消息队列 Kafka 的客户端进行设置。在 云消息队列 Kafka 客户端进行消息压缩的说明如下:压缩格式:支持Snappy、LZ4、GZIP等压缩格式。其中,GZIP对CPU的...

为什么Group不存在但能消费消息

问题现象 我在 云消息队列 Kafka 控制台 上,未查看到对应的Group,但此Group下却有消费线程在消费消息。可能原因 如果客户端使用 assign 方式消费消息,那么即使不创建Group,也可能消费消息。如果客户端使用 subscribe 方式消费消息,...

巡检说明

云消息队列 Kafka 集成了HouseKeeping(健康巡检组件),定时对集群进行全面扫描诊断,并能针对不健康的状态进行告警。本文将为您详细介绍 云消息队列 Kafka 的巡检功能。巡检说明 为了进一步提升集群的稳定性和服务的可靠性,云消息...

应用场景

本文介绍 云消息队列 Kafka 的典型应用场景,包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪 成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 的发布/订阅模型,您可以实时收集网站活动数据...

创建Kafka Source Connector

MQ_INST_115964845466*_ByBeUp3p Topic 选择生产 云消息队列 Kafka 消息的Topic。topic Group ID 选择源实例的消费组名称。请使用独立的消费组来创建事件源,不要和已有的业务混用消费组,以免影响已有的消息收发。GID_http_1 消费位点 ...

查看接入点

如需使用客户端连接 云消息队列 Kafka 收发消息,您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;同时需要链路...

创建Kafka Sink Connector

华北2(北京)kafka 实例 选择生产 云消息队列 Kafka 消息的源实例。alikafka_post-cn-jte3*Topic 选择生产 云消息队列 Kafka 消息的Topic。demo-topic Group ID 选择源实例的消费组名称。快速创建:推荐方案,自动创建以 GID_...

元数据导入

本文介绍如何在 云消息队列 Kafka 控制台创建迁移任务,将自建Kafka集群的元数据迁移至 云消息队列 Kafka 实例。迁移流程 注意事项 Serverless实例暂不支持元数据导入任务。当自建Kafka集群不支持公网访问时,建议采用元数据导入的...

计费概述

说明 云消息队列 Kafka 的Connector组件依赖于 事件总线,云消息队列 Kafka 不会额外收取费用。事件总线 的计费说明,请参见 计费说明。同时,阿里云不承诺Connector的SLA,使用Connector所依赖的其他产品的SLA和费用说明请以对应...

版本机制说明

云消息队列 Kafka 会定义一个商业化的稳定内部版本,并在此版本上持续迭代特性、修复 Bug 及安全隐患。本文介绍 云消息队列 Kafka 支持机制,包括版本发布与支持情况、版本生命周期说明以及版本支持策略等内容。版本发布 云消息队列 ...

CLI集成示例

步骤四:调用 云消息队列 Kafka OpenAPI 示例一:获取支持阿里云CLI调用 云消息队列 Kafka OpenAPI列表 以下示例将为您展示如何使用-help 选项获取支持阿里云CLI调用的 云消息队列 Kafka OpenAPI列表。您也可在 API概览 中查看...

能否通过公网访问云消息队列 Kafka 实例?

网络类型为公网/VPC的 云消息队列 Kafka 实例支持通过公网访问。云消息队列 Kafka 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...

监控报警问题

本文为您介绍 云消息队列 Kafka 监控报警的常见问题。为什么需要升级实例来支持监控告警功能?报警项状态显示数据不足怎么办?如何监控开源Apache Kafka?为什么阿里云账号能看到监控信息而RAM用户看不到监控信息?为什么不能登录部署...

能否通过公网访问云消息队列 Kafka 实例?

网络类型为公网/VPC的 云消息队列 Kafka 实例支持通过公网访问。云消息队列 Kafka 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...

客户端发送问题

哪里可以找到发送最佳实践?如何进行发送消息的测试?使用客户端发送消息后,如何...使用云消息队列 Kafka 时客户端的报错及解决方案 无法ping通云消息队列 Kafka 的接入点 开启幂等功能,发送消息报“Cluster authorization failed”错误

是否支持延迟消息

和开源Apache Kafka一样,云消息队列 Kafka 同样不支持延迟消息。

如何快速使用云消息队列 Kafka 的Java SDK收发消息

六分钟上手 云消息队列 Kafka 。文档教程 快速入门

Filebeat

本文介绍如何将 云消息队列 Kafka 接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置,从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

升级实例配置

本文介绍如何在 云消息队列 Kafka 控制台完成实例升配,升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件 实例处于 服务中 或 未部署 状态。实例中没有进行中的Topic引流任务。注意事项 升级实例配置会引发集群逐台...

Kafka实例小版本升级是否可以推迟或取消

本文为您介绍 云消息队列 Kafka 实例小版本升级过程中遇到的问题及相关说明。实例小版本升级是否可以推迟?云消息队列 Kafka 实例版本升级时会创建一条调度任务,如需推迟升级,可通过修改该调度任务的执行时间来实现:登录 云消息...

消息检索

当 云消息队列 Kafka 版 控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时,您可以使用 云消息队列 Kafka 消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...

无法ping通云消息队列 Kafka 的接入点

问题描述 无法ping通云消息队列 Kafka 的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...

无法ping通云消息队列 Kafka 的接入点

问题描述 无法ping通云消息队列 Kafka 的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...

单可用区容灾最佳实践

本文为您介绍 云消息队列 Kafka 实例选择单可用区部署,在出现可用区级别的故障时,如何快速转移故障,恢复服务正常。背景信息 云消息队列 Kafka 实例如果选择单可用区部署,在可用区级别的故障时,可能会出现服务完全不可用,数据...

创建SLS Sink Connector

本文介绍如何通过创建SLS Sink Connector,通过 事件总线EventBridge 将数据从 云消息队列 Kafka 实例的数据源Topic导出至日志服务SLS。前提条件 云消息队列 Kafka 云消息队列 Kafka 实例开启Connector。更多信息,请参见 开启...

如何通过代理访问云消息队列 Kafka 实例

概述 暂不支持通过代理访问云消息队列 Kafka 实例,具体请查看 详细信息。详细信息 云消息队列 Kafka 的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

为Connector开启公网访问

前提条件 为Connector开启公网访问前,请确保您的 云消息队列 Kafka 实例已开启Connector。更多信息,请参见 开启Connector。开启公网访问 为Connector开启公网访问的方案如下:为Connector开启公网访问的操作流程如下:为部署了 云消息...

消息队列Kafka版系统权限策略参考

本文描述消息队列Kafka版支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里访问控制(RAM)...

如何进行发送消息的测试?

本文为您介绍在 云消息队列 Kafka 控制台如何快速进行消息发送测试。快速体验消息收发 登录 云消息队列 Kafka 控制台,在左侧导航栏,单击 实例列表。在顶部菜单栏,选择地域,然后在 实例列表 页面单击目标实例名称。在左侧导航栏,...

是否支持Compact的日志清理策略?

开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略,请参见 升级大版本。

元数据导入

本文介绍如何在 云消息队列 Kafka 控制台创建元数据导入任务,将元数据迁移至 云消息队列 Kafka 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 实例:购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...

服务支持

本文汇总了 云消息队列 Kafka 的常见问题与以及服务等级协议。服务支持 常见问题 相关协议

创建OSS Sink Connector

本文介绍如何创建OSS Sink Connector将数据从 云消息队列 Kafka 实例的数据源Topic导出至对象存储OSS。前提条件 在导出数据前,请确保您已完成以下操作:为 云消息队列 Kafka 实例开启Connector。更多信息,请参见 开启Connector。为...

创建RabbitMQ Source Connector

本文介绍如何在 云消息队列 Kafka 控制台创建流入任务,将 云消息队列 RabbitMQ 版 中的数据快速导入至 云消息队列 Kafka 。前提条件 您已购买 云消息队列 Kafka 实例,且实例处于 服务中 状态。具体步骤,请参见 步骤二:购买和...
< 1 2 3 4 ... 115 >
共有115页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用