实时数据通道 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。收益 系统解耦...
在 云产品监控 页面，选择 大数据计算 数据总线DataHub。在数据总线DataHub页面，单击目标资源对应 操作 列的 监控图表 可以查看图表数据信息。说明 最多可连续查看最近30天的监控数据。设置报警规则 在DataHub的监控页面，可以为该云产品...
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅(Subscribe)和分发功能，让您可以轻松构建基于流式数据的分析和应用。
服务等级说明 数据总线服务等级协议 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的数据总线（简称“数据总线”）的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...
Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。安装Flume插件 安装...
名词解释 名词 解释 Project 项目（Project）是DataHub数据的基本组织单元，下面包含多个Topic。DataHub的项目空间与MaxCompute的项目空间相互独立。Topic Topic是DataHub订阅和发布的最小单位，可以用Topic来表示一类或者一种流数据。...
阿里云流数据处理平台数据总线 DataHub 是流式数据（Streaming Data）的处理平台，提供流式数据的发布(Publish)、订阅（Subscribe）和分发功能，支持构建基于流式数据的分析和应用。产品概述 数据总线（DataHub）是阿里云提供的一款流式...
项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic，而Topic是 DataHub 订阅(读取)和发布(写入)的最小单位。操作步骤 创建Project 进入 DataHub控制台，点击左侧项目管理列表 在 项目管理列表 页面，单击右侧 新建项目。填写 ...
2021年 03月 新功能/特性 简要概述 类别 文档 详细说明 同步MaxCompute支持页面TimestampUnit 同步MaxCompute任务支持页面设置TimestampUnit单位 用户指南 概述 DataHub 3月份新增功能介绍 DataHub完全兼容Kafka DataHub全面支持kafka读写 ...
INTEGER BIGINT BINARY_FLOAT/BINARY_DOUBLE DOUBLE/DECIMAL FLOAT DOUBLE/DECIMAL date/timestamp TIMESTAMP/STRING 如果DataHub数据类型为TIMESTAMP，会自动转换为微秒时间戳 raw STRING raw字段会自动进行BASE64编码写入到DataHub 以上...
参数 描述 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。描述 Project的...
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
} } } 创建订阅消费DataHub数据/点位消费示例，并在消费过程中进行点位的提交 public static void example(){ String shardId="0;List String shardIds=Arrays.asList("0","1");OpenSubscriptionSessionResult ...
准备OSS Bucket DataHub支持将数据同步到对象存储OSS中，在创建同步任务前，用户首先需要在OSS管控台创建OSS Bucket，作为DataHub数据同步的目标Bucket。2.服务关联角色授权 用户配置同步任务时，账号可以选择使用 AccessId/AccessKey 静态...
DataHub Kafka兼容模式 DataHub 已经兼容 Kafka 的协议，用户可以直接使用Kafka的sdk来连接 DataHub 服务,进行数据的订阅和发布。DataHub&Kafka概念映射 Kafka Datahub Topic Project.Topic partition shard offset sequence Kafka Topic ...
准备ADS实例和表结构 使用ADS管控台新建ADS集群DataHub同步时，会根据DataHub Field的数据类型同步到对应的ADS数据类型中，对应的类型映射关系如下所示：DataHub MySQL TINYINT TINYINT SMALLINT SMALLINT INTEGER INT BIGINT BIGINT ...
为了更加方便让数据库数据实时导入到DataHub，联合数据集成一起开发了“数据库实时导入到DataHub”，尽量简化数据流入DataHub的流程。整体流程如下：使用图解 主账号使用方式：打开公有云DataHub Console，选择对应的Project，点击右上角的...
2.服务关联角色授权 当选择STS临时账号方式时，将会自动创建 DataHub服务关联角色，DataHub服务会使用此角色访问Fc以完成数据同步 3.创建DataHub Topic 参见 Web控制台操作指南 4.创建DataHub FunctionCompute Connector 4.1 进入Topic详情...
尊敬的阿里云用户：为满足用户不断增长的流式数据处理规模，并持续优化用户使用成本，DataHub将于北京时间 2025年3月31日 起实施 读流量 价格调整：单价由 0.15元/GB 降至 0.015元/GB，降幅达90%。本次调整将覆盖全部已开通服务的区域...
本文为您介绍DataHub服务关联角色（AliyunServiceRoleForDataHub）的应用场景以及如何删除服务关联角色。DataHub服务关联角色 本文为您介绍DataHub服务关联角色（AliyunServiceRoleForDataHub）的应用场景以及如何删除服务关联角色。背景...
} } 关联订阅消费DataHub数据 同读取DataHub数据类似，使用订阅进行消费的不同之处在于订阅存储了消费的点位，用户可自由选择消费点位。说明 首先调用openSubscriptionSession初始化offset，获取version+session信息，全局只初始化一次，多...
DataHub-Dataworks Connection服务关联角色（AliyunServiceRoleForDataHubDWConnection）是在选择数据库实时导入时，为了完成DataWorks工作空间查询及创建，需要获取DataWorks的访问权限而提供的RAM角色。更多关于服务关联角色的信息请参见...
针对TUPLE类型topic，MaxCompute目标表数据类型需要和DataHub数据类型相匹配，具体的数据类型映射关系如下：MaxCompute DataHub BIGINT BIGINT STRING STRING BOOLEAN BOOLEAN DOUBLE DOUBLE DATETIME TIMESTAMP DECIMAL DECIMAL TINYINT ...
producerConf.SetMaxAsyncBufferRecords()具体参数及类型说明如下图所示:参数名称 类型 是否必须 默认值 描述 mMaxAsyncBufferRecords int64_t 否 异步发送时，最大攒批的数据条数，一般通过 size 控制，所以这里默认值为 INT_MAX ...
default：将DataHub数据逐条写入Hologres。dts_old：不启用新的附加列规则。dts：启动新的附件列规则。导入字段 需要导入Hologres的字段。可以根据实际业务需求选择导入部分或全部字段。鉴权模式 默认为AK。无 AccessId 访问Hologres实例的...
DataHub同步时，会根据DataHub Field的数据类型同步到对应的RDS数据类型中，对应的类型映射关系如下所示：DataHub RDS TINYINT TINYINT SMALLINT SMALLINT INTEGER INT BIGINT BIGINT STRING VARCHAR BOOLEAN BOOLEAN/TINYINT FLOAT FLOAT ...
前提 已经创建好Project和Topic，创建方式详情见 创建Topic示例 说明 目前仅支持Kafka迁移数据至DataHub，不支持DataHub迁移数据至Kafka DataHub目前不支持事务、幂等，需在DataHub目标端配置中禁用幂等配置 操作步骤 上传 kafka_mirror_...
脏数据 ES6 f1 v2 {f1:v1,f4:v4,f5:v5,f6:v6} ES7-v2 {f1:v1,f4:v4,f5:v5,f6:v6} 数据=v1,null,v3,v4,v5,v6 ES版本 type id data ES5-id属性列为null，脏数据 ES6-id属性列为null，脏数据 ES7-id属性列为null，脏数据 数据=v1,v2,null,v4,v...
名称 指标描述 readMetric 数据消费每秒请求数(单位：count)数据消费压缩后吞吐量(单位：KB)数据消费原始吞吐量(单位：KB)数据消费失败数(单位：count)数据消费每秒数据量(单位：count)数据消费请求延迟(单位：us)writeMetric 数据写入每秒...
权限控制 DataHub采用阿里云 RAM 进行访问控制。用户对DataHub资源的访问，通过RAM进行鉴权。阿里云主账号拥有所属资源的所有权限，子用户在创建时并没有任何权限，不能访问任何资源，用户需要在RAM中对该子用户进行授权操作。关于如何创建...
尊敬的阿里云用户：为满足不同地域的用户增长的流式数据处理规模，DataHub在北京时间 2025年5月14日上线华北6（乌兰察布）地域。DataHub支持地域 中国公共云地域 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、华北3...
产品功能 数据接入：提供多种SDK、API和Flume、Logstash等第三方插件，高效便捷地把数据接入到数据总线。数据投递：提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统，减轻了数据...
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 订阅数量限制 单个topic...
Blob Topic Kafka的数据写入Blob Topic时，会把Kafka数据的value写入Blob中，如果Kafka数据的key不为NULL，则会写入DataHub的Attribute，其中key为”_kafka_key_“，value为Kafka数据的key。Header Kafka的Header对应DataHub的Attribute，...
在创建完成同步任务后，不需要使用可以对同步任务进行删除。切换到数据同步页签，选择需要删除的同步任务，单击 操作 列的 删除 按钮，删除该同步任务。
Project操作 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。创建project void ...
产品定价 数据总线产品已于2020年4月20号正式开始商业化收费，目前仅支持按量付费的计费模式，根据用户实际使用量来梯度计费，每月也为用户准备了一定的免费额度。按量付费 按量付费的单价，详情可参考以下描述：扣费周期为天：每天为您...
本文为您介绍使用DataHub前的准备工作操作流程。 操作流程 准备工作的基本操作流程如下 流程 说明 步骤一：阿里云账号 创建阿里云账号并实名认证。步骤二：开通DataHub服务 开通DataHub服务。步骤三：创建Project和Topic 您需要创建...