队列的链式存储

_相关内容

消息发送重试和流控机制

若某些场景例如业务上新等需要回溯到指定时刻前开始消费,此时队列的存储压力会瞬间飙升,触发消息流控。服务端请求任务排队溢出:若消费者消费能力不足,导致队列中有大量堆积消息,当堆积消息超过一定数量后会触发消息流控,减少下游消费...

顺序消息

基于 云消息队列 RocketMQ 版 本身队列的属性,消费顺序和队列存储的顺序一致,但不保证和发送顺序一致。未设置消息组,消息乱序发送。并发消费 并发消费,尽可能按照时间顺序处理。顺序消息生命周期 初始化 消息被生产者构建并完成初始化...

消息存储和清理机制

消息存储机制 原理机制 云消息队列 RocketMQ 版 使用存储时长作为消息存储的依据,即每个节点对外承诺消息的存储时长。在存储时长范围内的消息都会被保留,无论消息是否被消费;超过时长限制的消息则会被清理掉。消息存储机制主要定义以下...

队列(MessageQueue)

队列的主要作用如下:存储顺序性 队列天然具备顺序性,即消息按照进入队列的顺序写入存储,同一队列间的消息天然存在顺序关系,队列头部为最早写入的消息,队列尾部为最新写入的消息。消息在队列中的位置和消息之间的顺序通过位点(Offset...

获取MQTT客户端在线状态

下文以 云消息队列 RocketMQ 版 作为后端存储消息队列的情况为例说明。操作步骤 创建上下线事件对应的Topic。您需关注哪些Group ID分组的设备,就在 云消息队列 MQTT 版 控制台创建对应的Topic。创建Topic的步骤请参见 MQTT快速入门。例如...

创建RabbitMQ Source Connector

test Queue 选择存储消息的队列。test 批量推送 批量推送可帮您批量聚合多个事件,当 批量推送条数 和 批量推送间隔(单位:秒)两者条件达到其一时即会触发批量推送。例如:您设置的推送条数为100 条,间隔时间为15 s,在10 s内消息条数已...

为什么限制Topic总数(分区总数)?

Topic总数(分区总数)太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的,分区数太多,会导致存储碎片化严重,集群性能和稳定性都会急剧下降。

存储费用

包年包月和按量付费计费方式下,存储费用为 云消息队列 RocketMQ 版 的必选计费项,系统会根据实例的存储空间占用量进行计费。计费说明 项目 说明 计费公式 存储费用=存储空间×存储单价×存储时长 存储空间的值取计费周期(1小时)内起始...

API概览

本产品(微消息队列 MQTT/2020-04-20)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

基本概念

主题(Topic)云消息队列 RocketMQ 版 中消息传输和存储的顶层容器,用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。更多信息,请参见 主题(Topic)。消息类型(MessageType)云消息队列 RocketMQ 版 中按照消息...

消息(Message)

消息队列 定义:实际存储当前消息的队列。更多信息,请参见 队列(MessageQueue)。取值:由服务端指定并填充。消息位点 定义:当前消息存储在队列中的位置。更多信息,请参见 消费进度原理。取值:由服务端指定并填充。取值范围:0~long....

使用限制

云消息队列 Kafka 版 对某些具体指标进行了约束和规范,您在使用 云消息队列 Kafka 版 时注意不要超过相应的限制值,以免程序出现异常。重要 若由于您的实例配置超出使用限制导致的任何不稳定情况,不在SLA承诺和赔偿范围内。云消息队列 ...

实例升降配

存储规格 不涉及 云消息队列 RocketMQ 版 的存储空间根据实际使用量按量付费,您可以随时调整消息存储时长来控制占用的存储空间。公网访问类型 支持 支持升配和降配。升配:开启公网访问。降配:关闭公网访问。公网流量带宽 支持 支持升配...

控制台看到的最近消费时间是什么意思?

消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。

领域模型概述

队列(MessageQueue):云消息队列 RocketMQ 版 消息传输和存储的实际单元容器,类比于Kafka中的分区。云消息队列 RocketMQ 版 通过流式特性的无限队列结构来存储消息,消息在队列内具备顺序性存储特征。消息(Message):云消息队列 ...

消费进度管理

如果服务端保存的历史位点信息已过期被删除,此时消费位点向前移动至服务端存储的最小位点。说明 消费位点的保存和恢复是基于 云消息队列 RocketMQ 版 服务端的存储实现,和任何消费者无关。因此 云消息队列 RocketMQ 版 支持跨消费者的...

主题(Topic)

并且针对主题的所有约束和属性设置,最终也是通过主题内部的队列来实现。内部属性 主题名称 定义:主题的名称,用于标识主题,主题名称集群内全局唯一。取值:由用户创建主题时定义。约束:请参见 参数限制。队列列表 定义:队列作为主题的...

顺序消息

如果是普通消息,订单A的消息可能会被轮询发送到不同的队列中,不同队列的消息将无法保持顺序,而顺序消息发送时 云消息队列 RocketMQ 版 支持将Sharding Key相同(例如同一订单号)的消息序路由到一个队列中。云消息队列 RocketMQ 版 服务...

消息查询

查询方式说明 由于消息在 云消息队列 RocketMQ 版 中存储的时间默认为3天(不建议修改),即只能查询从当前查询时间算起3天内的消息。例如,当前时间是2019年06月10日15:09:48,那么能查询到的某Topic下的消息最早的时间点为2019年06月07日...

查询消息轨迹

支持查询的时间范围 由于消息在 云消息队列 RocketMQ 版 中存储的时间默认为3天,即只能查询当前时间起3天内的消息轨迹。例如,当前时间是2023年11月30日15:09:48,那么能查询到的消息轨迹最早的时间点为2023年11月27日15:09:48。消费状态...

生产者负载均衡

如果业务侧将消息都集中在少量或唯一的消息组,则此时服务端存储消息时,也会集中存储在少量或唯一的队列中。极大增加了服务端的存储压力,导致出现队列热点,不利于主题处理能力的水平扩展。因此,建议您在设计消息组时,尽量将消息分散开...

死信队列

对于消费失败且重试后依然失败的消息,云消息队列 RocketMQ 版 不会立丢弃,而是将消息转发至指定的队列中,即死信队列,这些消息即为死信消息。当消费失败的原因排查并解决后,您可以重发这些死信消息,让消费者重新消费;若您暂时无法...

生产者(Producer)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 客户端ID 定义:生产者客户端的标识,用于区分不同的生产者。集群内全局...

UpdateInstance-更新实例

云消息队列 RocketMQ 版的消息存储完全实现 Serverless 弹性,按照实际存储空间收取费用,您可以通过调整消息保存时长来控制消息的存储容量。更多信息,请参见 存储费用。72 traceOn boolean 否 是否开启消息轨迹功能。true:开启消息轨迹...

现代IM系统中的消息系统—架构

消息会先写入消息队列,作为底层存储的一个临时缓冲区。消息队列中的消息会由消息处理服务器消费,可以允许乱序消费。消息处理服务器对消息先存储后同步,先写入发件箱Timeline(存储库),后写扩散至各个接收端的收件箱(同步库)。消息...

消费者(Consumer)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 消费者分组名称 定义:当前消费者关联的消费者分组名称,消费者必须关联...

删除队列消息

本文介绍如何删除某个队列的所有消息。您可以使用Java客户端库中 queuePurge 方法删除某个队列的所有消息。示例代码如下:channel.queuePurge("queue-name");

基本概念

重置消费位点 以时间轴为坐标,在消息持久化存储的时间范围内(默认3天),重新设置Consumer对已订阅的Topic的消费进度,设置完成后Consumer将接收设定时间点之后由Producer发送到 云消息队列 RocketMQ 版 服务端的消息。更多信息,请参见 ...

消费者分组(ConsumerGroup)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 消费者分组名称 定义:消费者分组的名称,用于区分不同的消费者分组。...

订阅关系(Subscription)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 过滤类型 定义:消息过滤规则的类型。订阅关系中设置消息过滤规则后,...

CreateInstance-创建实例

云消息队列 RocketMQ 版的消息存储完全实现 Serverless 弹性,按照实际存储空间收取费用,您可以通过调整消息保存时长来控制消息的存储容量。更多信息,请参见 存储费用。72 chargeType string 否 计费模式。参数取值如下:provisioned:...

GetInstance-获取指定实例的详情

消息队列 RocketMQ 版的消息存储完全实现 Serverless 弹性,按照实际存储空间收取费用,您可以通过调整消息保存时长来控制消息的存储容量。更多信息,请参见 存储费用。72 supportAutoScaling boolean 实例是否支持开启规格外突发弹性能力...

排他队列

如果您想创建一个只有自己可见的队列,不允许其他用户访问,您可以使用 云消息队列 RabbitMQ 版 的排他性队列特性,将指定的队列声明为排他性。什么是排他队列 排他性队列的特点如下:排他队列只对首次声明它的连接(Connection)可见,...

现代IM系统中的消息系统—模型

为了满足同步库和存储库对存储的不同要求,也提供了一些灵活的自定义配置,主要包括:配置 说明 Time to live(数据生命周期)可自定义数据生命周期,例如永久保存,或者保存N天。Storage type(存储类型)自定义存储类型,对存储库来说,...

教程示例:结合消息服务实现OSS事件通知

重复上述步骤在 英国(伦敦)地域创建用于接收目标存储空间destbucket事件通知的队列 myqueue2。步骤二:为srcbucket配置跨区域复制 登录 OSS管理控制台。单击 Bucket列表,然后单击srcbucket。在左侧导航栏,选择 数据管理>跨区域复制。在...

MQTT快速入门

注意事项 云消息队列 MQTT 版 需搭配后端消息存储队列一起使用,具体说明如下:云消息队列 MQTT 版 实例是一个无状态网关类型实例,用来完成IoT移动场景下的客户端连接维持和消息转发,本身并不提供消息数据持久化功能,具体的消息存储和...

产品优势

简单易用,在代码上只需要设置一个参数即可完成,解决开源RabbitMQ无延时队列的痛点。高精度支持,最短可精确到秒级,最长可持续1天。高性能,性能与普通消息一致。多副本数据冗余,确保消息可恢复。消息重试 重试一次一分钟,最多16次重试...

概述

本文介绍如何选择和优化阿里云存储服务,帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务,在数据上云后不会优化存储,也不会清理未使用的存储,从而使这些服务以巨额成本长期运行。根据 RightScale的博客...

获取存储空间的存储容量

本文介绍如何获取指定存储空间(Bucket)的存储容量以及Bucket内不同存储类型文件(Object)的数量及其存储容量。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。...

深度冷归档存储使用最佳实践

通过生命周期将Object的存储类型转换为深度冷归档存储 为避免产生较高的PUT类型请求费用,建议您先上传标准存储的Object,然后通过生命周期转换为深度冷归档存储,不建议您直接上传深度冷归档存储的Object。通过生命周期转换为深度冷归档...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用