队列链式存储结构

_相关内容

表格存储建表注意事项

表格存储支持半结构化的表,即建表时只需要指定主键列(1至4列),不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制,且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时,表格存储需要应用程序指定...

Topic的存储有哪些类型?

存储和Local存储。云消息队列 Kafka 版 实例支持云存储和Local存储。详情请参见 存储引擎对比。

功能概述

表格存储 面向海量结构化数据提供Serverless表存储服务,适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储,提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...

从自建MySQL同步至云消息队列 Kafka 版

消息格式 同步到 云消息队列 Kafka 版 集群中的数据以avro格式存储,schema定义详情请参见 DTS avro schema定义。说明 数据同步到 云消息队列 Kafka 版 集群后,您需要根据avro schema定义进行数据解析。费用说明 数据传输服务DTS费用,请...

应用场景

表格存储 有互联网应用架构(包括数据库分层架构和分布式结构化数据存储架构)、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...

方案背景

本文以车联网场景中车辆元数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆元数据管理平台的场景需求以及方案架构。场景需求 车辆在行驶的过程中会定时上报大量的状态数据,例如车辆识别代码、行驶速度、发动机转速、车内温度等...

事件告警

告警的处理方式 元数据空间不足 告警原因 元数据空间指的是SMB或NFS共享所对应的缓存盘中用于存储元数据的空间,主要包括目录结构等信息,文件数目越多,使用的元数据空间也就越大。共享使用的缓存盘由数据空间和元数据空间组成,默认20%的...

集成概述

例如,创建流出目标端为Tablestore的Sink Connector,请先开通表格存储(Tablestore)服务。说明 若目标服务为 日志服务,可不开通函数计算服务。计费说明 事件总线 目前处于公测中,免费使用。函数计算 的计费说明,请参见 计费概述。权限...

API概览

本产品(微消息队列 MQTT/2020-04-20)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

DBMS_AQADM

您可以使用 DBMS_AQADM 包中的存储过程创建并管理消息队列队列表。表 1.DBMS_AQADM函数/存储过程 函数/存储过程 返回类型 说明 ALTER_QUEUE N/A 修改现有的队列。ALTER_QUEUE_TABLE N/A 修改现有的队列表。CREATE_QUEUE N/A 创建队列。...

MQTT客户端上下线事件数据流出

映射关系 MQTT资源 其他阿里云产品 其他阿里云产品资源 数据包定义 MQTT Group ID 云消息队列 RocketMQ 版 云消息队列 RocketMQ 版 的Topic MQTT和RocketMQ的消息结构映射 操作流程 如上文所述,如果使用异步上下线通知的方式,您需创建...

为什么云存储网关与OSS上的文件不一致

存储网关上的文件与OSS对象一一对应,提供与OSS对象1:1映射的文件共享服务,您...云存储网关会将以OSS上该文件夹的元数据为基准与本地同步,同步任务完成后该目录下的文件结构与OSS保持一致。详情请参见 如何主动触发特定文件夹的反向同步。

发布者最佳实践

本文介绍 云消息队列 Kafka 版 发布者的最佳实践,帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端,其基本概念与思想是相通的,但实现细节可能存在差异。发送消息 发送消息的示例代码如下:Future...

存储网关软件版公测

存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品,提供类似ossfs的功能,使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问,从而您可以像操作本地文件一样操作OSS里面的文件。...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

控制台看到的最近消费时间是什么意思?

消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。

使用MongoDB Connector连接MongoDB数据库

本文介绍如何创建MongoDB Connector,将MongoDB数据库和 云消息队列 Kafka 版 的数据进行双向同步。前提条件 开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间(Bucket)。更多信息,请参见 控制台创建存储空间。已...

主题(Topic)

队列列表 定义:队列作为主题的组成单元,是消息存储的实际容器,一个主题内包含一个或多个队列,消息实际存储在主题的各队列内。更多信息,请参见 队列(MessageQueue)。取值:系统根据队列数量给主题分配队列队列数量创建主题时定义。...

GetInstanceList-查询指定地域的实例信息

如果实例是通过云消息队列 Kafka 版控制台或调用 StartInstance(调用时没有配置安全组)部署的,则返回值为空。如果实例是通过调用 StartInstance(调用时配置了安全组)部署的,则返回值为配置的安全组。sg-bp13wfx7kz9pkow*SslEndPoint ...

使用限制

限制项 限制值 说明 限制Topic总数(分区总数)支持 云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的,Topic总数(分区总数)太多,会导致存储碎片化,集群性能和稳定性下降。Topic减少对应分区 不支持 这是Apache Kafka自身设计所...

实例升降配

存储规格 不涉及 云消息队列 RocketMQ 版 的存储空间根据实际使用量按量付费,您可以随时调整消息存储时长来控制占用的存储空间。公网访问类型 支持 支持升配和降配。升配:开启公网访问。降配:关闭公网访问。公网流量带宽 支持 支持升配...

消息查询

查询方式说明 由于消息在 云消息队列 RocketMQ 版 中存储的时间默认为3天(不建议修改),即只能查询从当前查询时间算起3天内的消息。例如,当前时间是2019年06月10日15:09:48,那么能查询到的某Topic下的消息最早的时间点为2019年06月07日...

查询消息轨迹

云消息队列 RocketMQ 版 将消息发送、消息存储、消息消费这几个关键节点的数据定义为轨迹参数,例如消息发送结果、发送耗时、消息到达服务端的时间、消息的消费结果、消费耗时、客户端信息等,并支持可视化查询。当消息收发结果不符合预期...

生产者负载均衡

生产者发送消息到 云消息队列 RocketMQ 版 服务端时,云消息队列 RocketMQ 版 将根据生产者负载均衡策略将消息均匀的存储在多个队列中,避免产生热点队列和性能瓶颈。本文介绍 云消息队列 RocketMQ 版 生产者的负载均衡策略。背景信息 了解...

MQTT与RocketMQ的消息结构映射

本文针对使用 云消息队列 RocketMQ 版 SDK与 云消息队列 MQTT 版 交互的场景,提供交互中所涉及的消息结构和属性字段的映射关系,方便您更好的理解和组合使用这两个产品。云消息队列 MQTT 版 是一款面向移动端的网关产品,可通过数据互通...

死信队列

对于消费失败且重试后依然失败的消息,云消息队列 RocketMQ 版 不会立丢弃,而是将消息转发至指定的队列中,即死信队列,这些消息即为死信消息。当消费失败的原因排查并解决后,您可以重发这些死信消息,让消费者重新消费;若您暂时无法...

使用Canal和RocketMQ实现数据库变更订阅处理

本文以MySQL数据库为例介绍如何使用Canal接入 云消息队列 RocketMQ 版,实现MySQL数据库Binlog数据的变更处理。背景信息 CDC(Change Data Capture)是一种监测并捕获数据库变更的典型技术方案,常应用于异构数据源之间的数据同步。Canal...

使用Canal和RocketMQ实现数据库变更订阅处理

本文以MySQL数据库为例介绍如何使用Canal接入 云消息队列 RocketMQ 版,实现MySQL数据库Binlog数据的变更处理。背景信息 CDC(Change Data Capture)是一种监测并捕获数据库变更的典型技术方案,常应用于异构数据源之间的数据同步。Canal...

开源对比

云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品,能够兼容开源RabbitMQ客户端,与开源RabbitMQ相比,能够解决各种稳定性痛点(例如消息堆积、脑裂等问题),同时具备高并发、分布式、灵活扩缩容等...

消息收发流程变更

云消息队列 MQTT 版 V2.x.x版本强依赖 云消息队列 RocketMQ 版 作为消息存储,因此 云消息队列 MQTT 版 消息和 云消息队列 RocketMQ 版 天然打通,创建了Topic后即可天然使用 云消息队列 RocketMQ 版 和 云消息队列 MQTT 版 的SDK相互通信...

消息轨迹

在分布式应用中,云消息队列 RocketMQ 版 作为全链路中异步解耦的关键服务,提供的消息轨迹数据可有效将业务上下游信息串联起来,帮助您更好地排查异常信息,定位问题。本文介绍消息轨迹的使用场景、云消息队列 RocketMQ 版 定义的轨迹参数...

现代IM系统中的消息系统—架构

本章节主要介绍现代IM系统中的消息系统架构以及基于表格存储(Tablestore)自研的Timeline模型构建的消息系统。基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性,包括多端同步、消息漫游和在线检索,在性能和规模上能够实现...

存储引擎对比

在创建Topic时,您可以为 云消息队列 Kafka 版 选择云存储或Local存储引擎。云存储依托阿里云云盘算法、低延迟、低成本、弹性伸缩能力更好,适用于大多数场景;若有特殊需求,例如Compact、幂等、事务、分区顺序消息等,建议您选择Local...

使用限制

企业铂金版:存储时长为3天,若您购买实例的存储空间规格不足时,云消息队列 RocketMQ 版 会按存储时间滚动删除最早的消息,此时消息的存储时长可能不足3天。说明 定时消息和延时消息的存储时长以定时或延时时长到期的时间为开始进行计算。...

实例规格

不支持 消息存储时长 3天 若您购买实例的存储空间规格不足时,云消息队列 RocketMQ 版 会按存储时间滚动删除最早的消息,此时消息的存储时长可能不足3天。说明 若您对消息存储时长有特殊要求,您可以联系 云消息队列 RocketMQ 版 技术支持...

数据流入规则管理

重要 在 云消息队列 MQTT 版 中Topic是多级结构,而 云消息队列 RocketMQ 版 的Topic仅有一级,因此,云消息队列 MQTT 版 中的一级Topic映射到 云消息队列 RocketMQ 版 的Topic,而子级Topic,包括二级、三级、n级Topic则映射到 云消息队列...

数据流出规则管理

重要 在 云消息队列 MQTT 版 中Topic是多级结构,而 云消息队列 RocketMQ 版 的Topic仅有一级,因此,云消息队列 MQTT 版 中的一级Topic映射到 云消息队列 RocketMQ 版 的Topic,而子级Topic,包括二级、三级、n级Topic则映射到 云消息队列...

上下线通知规则管理

说明 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 的消息结构映射信息,请参见 MQTT和RocketMQ的消息结构映射。编辑上下线通知规则 在规则列表,找到您想编辑的规则,并在其 操作 列选择 更多>编辑。在 编辑规则 页面,您可以更新除规则...

Serverless实例计费说明

计费公式 每小时存储费用=存储空间占用大小(GB)×存储单价(元/G/小时)计费单价 地域 存储空间单价(元/GB/小时)所有支持地域 0.0014 Topic费用 云消息队列 RocketMQ 版 的Serverless实例按照Topic数量收取费用。说明 Topic费用是只要...

DescribeTimeseriesAnalyticalStore

调用DescribeTimeseriesAnalyticalStore接口查询时序分析存储描述信息,例如分析存储配置信息、分析存储同步状态、分析存储大小等。请求消息结构 message DescribeTimeseriesAnalyticalStoreRequest { required string table_name=1;...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用