尊敬的阿里云用户：为满足不同地域的用户增长的流式数据处理规模，DataHub在北京时间 2025年5月14日上线华北6（乌兰察布）地域。DataHub支持地域 中国公共云地域 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、华北3...
公共返回Header 名字 描述 Content-Type 传输数据序列化协议 Content-Length 传输数据长度 x-datahub-request-id 全局唯一请求ID 3.错误码 名字 描述 备注 InvalidParameter 参数错误 InvalidCursor Cursor无效 NoSuchXXX 资源不存在 ...
Project操作 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。创建project void ...
数据变更序号同步到datahub对应的字段,按数据变更先后递增,不保证连续,可以被columnMapping中的cidColumn覆盖-cidColumn record_id/cidColumn/defalutDatahubConfigure!默认最严格，不落文件 直接退出 无限重试-!运行每批上次的最多纪录数,...
Blob Topic Kafka的数据写入Blob Topic时，会把Kafka数据的value写入Blob中，如果Kafka数据的key不为NULL，则会写入DataHub的Attribute，其中key为”_kafka_key_“，value为Kafka数据的key。Header Kafka的Header对应DataHub的Attribute，...
数据类型映射关系 OTS DataHub INTEGER TINYINT INTEGER SMALLINT INTEGER INTEGER INTEGER BIGINT INTEGER TIMESTAMP DOUBLE FLOAT DOUBLE DOUBLE BOOLEAN BOOLEEAN STRING STRING STRING DECIMAL BINARY 不支持 注意事项 TableStore表的...
在创建完成同步任务后，不需要使用可以对同步任务进行删除。切换到数据同步页签，选择需要删除的同步任务，单击 操作 列的 删除 按钮，删除该同步任务。
一、环境要求 Oracle数据库，19c及以下数据库，版本不可高于源端OGG 源端，Oracle GoldenGate 19.1.0.0 目标端,Oracle GoldenGate for Big Data 19.1.0.0 OGG官方下载地址 备注：本文示例均已OGG19.1为例，其他支持版本可参看文末版本说明 ...
一、环境要求 源端已安装好Oracle11g（当前插件版本仅支持ORA11g数据库）源端已安装好OGG（建议版本Oracle GoldenGate V12.2.0.2，V12.2.X均可以使用）目标端已安装好OGG Adapters（建议版本Oracle GoldenGate Application Adapters V12.2....
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
上传至DataHub请使用：DataHub Logstash Output插件 logstash-output-datahub-1.0.10.gem 适配Logstash 6、7 logstash-output-datahub-1.0.12.gem 适配Logstash 8 下载DataHub中数据请使用：DataHub Logstash Input插件 logstash-input-...
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 订阅数量限制 单个topic...
本文为您介绍使用DataHub前的准备工作操作流程。 操作流程 准备工作的基本操作流程如下 流程 说明 步骤一：阿里云账号 创建阿里云账号并实名认证。步骤二：开通DataHub服务 开通DataHub服务。步骤三：创建Project和Topic 您需要创建...
Connector 说明 DataHub Connector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute（原ODPS）、OSS（Object Storage Service，阿里云对象存储服务）、ES（Elasticsearch）、ADS...
订阅功能使用介绍 目前用户在DataHub上消费Topic数据，为了做到“断点续消费”的功能，即消费者failover重启后可以继续从failover时间点继续获取数据，需要用户自己保存当前消费的点位信息，同时用户还需要关心自己的点位存储服务的高可用...
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
创建Project 控制台地址 DataHub WebConsole 创建Project 在WebConsole中直接点击创建Project后填写相关信息,注意同一个Region内...需要注意的是，一旦删除Project，该Project下所有Topic，数据，及资源均被删除，无法恢复，请谨慎操作。
func cursor(dh datahub.DataHub,projectName,topicName string){ shardId:="0"gr,err:=dh.GetCursor(projectName,topicName,shardId,datahub.OLDEST)if err!nil { fmt.Println("get cursor failed")fmt.Println(err)}else{ fmt.Println(gr...
DataHub的管理控制台为您提供了多种指标，您可以通过Topic详情页面查看 读写请求、实时流量、历史流量 等信息，本文为您介绍相关指标的含义。Metric指标 QPS：读写Request/Second。RPS：读写Record/Second。Throughput：读写Throughput/...
介绍 DataHub 的 SDK 目前主要分为两种，分别是 Low-Level 和 High-Level，Low-Level 实现了 DataHub 服务端定义的 API，一般适合做资源的管理；High-Level SDK 一般称为 client-library，分为两个大模块 Producer 和 Consumer，是对 Low-...
nil { fmt.Println("Get records failed",err)break } if gr.RecordCount=0 { fmt.Println("No data,sleep 5 seconds.")time.Sleep(time.Second*5)continue } for_,record:=range gr.Records {/处理数据，这里只打印 data,_:=record.(*...
创建Topic 创建Tuple Topic Tuple类型的Topic写入数据是具有格式的，需指定Record Schema，以下为支持的数据类型：类型 含义 值域 BIGINT 8字节有符号整型-9223372036854775807~9223372036854775807 DOUBLE 8字节双精度浮点数-1.0_10^308~1...
group是一组topic的集合，以group为单位进行数据订阅，就可以订阅group内的所有topic，目前主要用于kafka协议兼容。为了更好兼容Kafka订阅方式，支持同时订阅多个Topic，DataHub提供了group的功能，用户可以在project下创建group并绑定想要...
本文为您展示DataHub的 C++ SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用一定...
} }/保证退出前，数据全部被发送完 producer.flush(true);producer.close();} DataHub支持多种写入方式，更多方式请参考 SDK介绍 查看数据写入情况 写入完成后，可点击Topic页面 shard数据标签查看数据写入shard情况 指标查看 点击Topic...
nil { fmt.Println(err)} } Hash 写入 如果数据有保序的需求，那么需要根据一些信息进行 hash，相同 hash 值的数据会写入到同一个 shard，单个 shard 的数据是可以保证顺序的，一般 hash 写入建议使用异步的方式写入。func ...
producerConf.SetMaxAsyncBufferRecords()具体参数及类型说明如下图所示:参数名称 类型 是否必须 默认值 描述 mMaxAsyncBufferRecords int64_t 否 异步发送时，最大攒批的数据条数，一般通过 size 控制，所以这里默认值为 INT_MAX ...
安装SDK 在Maven项目中添加依赖：dependency groupId com.aliyun.datahub/groupId artifactId aliyun-sdk-datahub/artifactId version 2.29.1 /version /dependency JDK：使用1.8及以上版本。如果API开启了密钥认证，您还需要在工程中配置相应的...
本文为您展示DataHub的 GO SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用一定...
无法按HashKey和PartitionKey方式写入数据，需要自定义在应用层hash取模，并且需要注意扩容导致的写入shard发生变化 Shard水平扩展模式 DataHub支持Topic Shard 水平扩展，创建Topic时开启Shard扩展模式即可 步骤一 开启Shard扩展模式 步骤...
本文为您展示DataHub的 Java SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用...
本文为您展示DataHub的 Java SDK的读写数据操作。前提条件 状态为 CLOSED 和 ACTIVE 的 shard 可以读取数据。状态为 ACTIVE 的 shard 可以写数据。重要 如无特殊需求，建议使用High-Level SDK 进行读写操作，High-Level SDK 是对 Low-Level...
您需要开通DataHub服务，才可以在DataHub中执行读写等操作。本文为您介绍如何开通DataHub。操作步骤 进入 DataHub产品详情页 选择地域，阅读并勾选协议，点击立即开通，完成购买 DataHub服务将在数分钟内开通完成
欢迎扫码加入钉钉用户群。DataHub公共云用户群 欢迎扫码或搜索群号：21954235 加入钉钉用户群。
需要注意的是，一旦删除Topic，该Topic下的数据，资源(Shard,Connector)均被删除，无法恢复，请谨慎操作。新增Version DataHub允许对已经创建的Topic进行字段的修改，并生成新的version版本。注意：对于使用DTS、以及Logstash插件、Flume...
DataHub社区文章 简介：DataHub在云栖社区输出了一系列文章，有助于您了解和使用DataHub DataHub操作指南 DataHub使用指南 新功能说明 datahub3月份新功能概览 DataHub常见问题归类 Topic：...
Topic说明 Topic 是 DataHub 订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据，目前支持Tuple与Blob两种类型：Blob类型 Topic支持写入一块二进制数据作为一个Record。Tuple类型 的Topic支持类似于数据库的记录的数据，每条...
本文为您展示DataHub的 C++ SDK的Meter 操作。参数说明 参数名 参数类型 参数说明 projectName String 项目名称。topicName string Topic名称 shardId string 代码示例 void GetMeter(){ try { GetMeteringInfoResult GetMeteringInfo=...
DataHub底层硬件资源升级公告 尊敬的DataHub用户：DataHub将于北京时间 2025年12月22号（周一）上午10:00至下午18:00，升级 华北2（北京）地域 的DataHub底层硬件资源。在此期间，客户业务可能有秒级抖动，如对业务有影响可及时通过工单...
用量价格查询 在首页选择”费用中心”，如下图所示：在费用中心选择 费用账单，右侧选择栏选择 账单明细，统计项选择 计费项，统计周期选择 按天，在下方产品一栏筛选datahub，即可看到每天、每一项dataHub的费用明细，如下图所示：收费...