Blob Topic Kafka的数据写入Blob Topic时，会把Kafka数据的value写入Blob中，如果Kafka数据的key不为NULL，则会写入DataHub的Attribute，其中key为”_kafka_key_“，value为Kafka数据的key。Header Kafka的Header对应DataHub的Attribute，...
default：将DataHub数据逐条写入Hologres。dts_old：不启用新的附加列规则。dts：启动新的附件列规则。导入字段 需要导入Hologres的字段。可以根据实际业务需求选择导入部分或全部字段。鉴权模式 默认为AK。无 AccessId 访问Hologres实例的...
数据类型映射关系 OTS DataHub INTEGER TINYINT INTEGER SMALLINT INTEGER INTEGER INTEGER BIGINT INTEGER TIMESTAMP DOUBLE FLOAT DOUBLE DOUBLE BOOLEAN BOOLEEAN STRING STRING STRING DECIMAL BINARY 不支持 注意事项 TableStore表的...
在创建完成同步任务后，不需要使用可以对同步任务进行删除。切换到数据同步页签，选择需要删除的同步任务，单击 操作 列的 删除 按钮，删除该同步任务。
一、环境要求 Oracle数据库，19c及以下数据库，版本不可高于源端OGG 源端，Oracle GoldenGate 19.1.0.0 目标端,Oracle GoldenGate for Big Data 19.1.0.0 OGG官方下载地址 备注：本文示例均已OGG19.1为例，其他支持版本可参看文末版本说明 ...
一、环境要求 源端已安装好Oracle11g（当前插件版本仅支持ORA11g数据库）源端已安装好OGG（建议版本Oracle GoldenGate V12.2.0.2，V12.2.X均可以使用）目标端已安装好OGG Adapters（建议版本Oracle GoldenGate Application Adapters V12.2....
Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。安装Flume插件 安装...
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 订阅数量限制 单个topic...
本文为您介绍使用DataHub前的准备工作操作流程。 操作流程 准备工作的基本操作流程如下 流程 说明 步骤一：阿里云账号 创建阿里云账号并实名认证。步骤二：开通DataHub服务 开通DataHub服务。步骤三：创建Project和Topic 您需要创建...
阿里云实时计算为了方便用户将更多数据采集进入DataHub，提供了针对Logstash的DataHub Output/Input插件。使用Logstash，您可以轻松享受到Logstash开源社区多达30+种数据源支持（file，syslog，redis，log4j，apache log或nginx log），...
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
订阅功能使用介绍 目前用户在DataHub上消费Topic数据，为了做到“断点续消费”的功能，即消费者failover重启后可以继续从failover时间点继续获取数据，需要用户自己保存当前消费的点位信息，同时用户还需要关心自己的点位存储服务的高可用...
创建Project 控制台地址 DataHub WebConsole 创建Project 在WebConsole中直接点击创建Project后填写相关信息,注意同一个Region内...需要注意的是，一旦删除Project，该Project下所有Topic，数据，及资源均被删除，无法恢复，请谨慎操作。
DataHub的管理控制台为您提供了多种指标，您可以通过Topic详情页面查看 读写请求、实时流量、历史流量 等信息，本文为您介绍相关指标的含义。Metric指标 QPS：读写Request/Second。RPS：读写Record/Second。Throughput：读写Throughput/...
func cursor(dh datahub.DataHub,projectName,topicName string){ shardId:="0"gr,err:=dh.GetCursor(projectName,topicName,shardId,datahub.OLDEST)if err!nil { fmt.Println("get cursor failed")fmt.Println(err)}else{ fmt.Println(gr...
介绍 DataHub 的 SDK 目前主要分为两种，分别是 Low-Level 和 High-Level，Low-Level 实现了 DataHub 服务端定义的 API，一般适合做资源的管理；High-Level SDK 一般称为 client-library，分为两个大模块 Producer 和 Consumer，是对 Low-...
nil { fmt.Println("Get records failed",err)break } if gr.RecordCount=0 { fmt.Println("No data,sleep 5 seconds.")time.Sleep(time.Second*5)continue } for_,record:=range gr.Records {/处理数据，这里只打印 data,_:=record.(*...
创建Topic 创建Tuple Topic Tuple类型的Topic写入数据是具有格式的，需指定Record Schema，以下为支持的数据类型：类型 含义 值域 BIGINT 8字节有符号整型-9223372036854775807~9223372036854775807 DOUBLE 8字节双精度浮点数-1.0_10^308~1...
group是一组topic的集合，以group为单位进行数据订阅，就可以订阅group内的所有topic，目前主要用于kafka协议兼容。为了更好兼容Kafka订阅方式，支持同时订阅多个Topic，DataHub提供了group的功能，用户可以在project下创建group并绑定想要...
OGG for Bigdata是Oracle官方的将数据库数据实时流式传输到大数据系统的工具，对于Oracle19c及以下的版本均可以支持，目前OGG for Bigdata可以将数据写入Kafka，而DataHub已经兼容Kafka Producer/Consumer协议，所以用户除了使用DataHub...
Connector 说明 DataHub Connector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute（原ODPS）、OSS（Object Storage Service，阿里云对象存储服务）、ES（Elasticsearch）、ADS...
ok { fmt.Println("Subscription used by other one")break } else { fmt.Println("Commit offset failed",err)break } } recordCount=0 } } cursor=gr.NextCursor } } 接口示例 project 操作 项目（Project）是DataHub数据的基本组织单元,...
本文为您展示DataHub的 C++ SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用一定...
使用场景 DataHub具有服务弹性伸缩功能，用户可根据实时的流量调整Shard数量，来应对突发性的流量增长或达到节约资源的目的。例如在双11大促期间，大部分Topic数据流量会激增，平时的Shard数量可能完全无法满足这样的流量增长，此时可以对...
} }/保证退出前，数据全部被发送完 producer.flush(true);producer.close();} DataHub支持多种写入方式，更多方式请参考 SDK介绍 查看数据写入情况 写入完成后，可点击Topic页面 shard数据标签查看数据写入shard情况 指标查看 点击Topic...
nil { fmt.Println(err)} } Hash 写入 如果数据有保序的需求，那么需要根据一些信息进行 hash，相同 hash 值的数据会写入到同一个 shard，单个 shard 的数据是可以保证顺序的，一般 hash 写入建议使用异步的方式写入。func ...
安装SDK 在Maven项目中添加依赖：dependency groupId com.aliyun.datahub/groupId artifactId aliyun-sdk-datahub/artifactId version 2.29.1 /version /dependency JDK：使用1.8及以上版本。如果API开启了密钥认证，您还需要在工程中配置相应的...
本文为您展示DataHub的 GO SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用一定...
您需要开通DataHub服务，才可以在DataHub中执行读写等操作。本文为您介绍如何开通DataHub。操作步骤 进入 DataHub产品详情页 选择地域，阅读并勾选协议，点击立即开通，完成购买 DataHub服务将在数分钟内开通完成
producerConf.SetMaxAsyncBufferRecords()具体参数及类型说明如下图所示:参数名称 类型 是否必须 默认值 描述 mMaxAsyncBufferRecords int64_t 否 异步发送时，最大攒批的数据条数，一般通过 size 控制，所以这里默认值为 INT_MAX ...
欢迎扫码加入钉钉用户群。DataHub公共云用户群 欢迎扫码或搜索群号：21954235 加入钉钉用户群。
本文为您展示DataHub的 Java SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用...
本文为您展示DataHub的 Java SDK的读写数据操作。前提条件 状态为 CLOSED 和 ACTIVE 的 shard 可以读取数据。状态为 ACTIVE 的 shard 可以写数据。重要 如无特殊需求，建议使用High-Level SDK 进行读写操作，High-Level SDK 是对 Low-Level...
需要注意的是，一旦删除Topic，该Topic下的数据，资源(Shard,Connector)均被删除，无法恢复，请谨慎操作。新增Version DataHub允许对已经创建的Topic进行字段的修改，并生成新的version版本。注意：对于使用DTS、以及Logstash插件、Flume...
DataHub社区文章 简介：DataHub在云栖社区输出了一系列文章，有助于您了解和使用DataHub DataHub操作指南 DataHub使用指南 新功能说明 datahub3月份新功能概览 DataHub常见问题归类 Topic：...
Topic说明 Topic 是 DataHub 订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据，目前支持Tuple与Blob两种类型：Blob类型 Topic支持写入一块二进制数据作为一个Record。Tuple类型 的Topic支持类似于数据库的记录的数据，每条...
本文为您展示DataHub的 C++ SDK的Meter 操作。参数说明 参数名 参数类型 参数说明 projectName String 项目名称。topicName string Topic名称 shardId string 代码示例 void GetMeter(){ try { GetMeteringInfoResult GetMeteringInfo=...
DataHub底层硬件资源升级公告 尊敬的DataHub用户：DataHub将于北京时间 2025年12月22号（周一）上午10:00至下午18:00，升级 华北2（北京）地域 的DataHub底层硬件资源。在此期间，客户业务可能有秒级抖动，如对业务有影响可及时通过工单...
用量价格查询 在首页选择”费用中心”，如下图所示：在费用中心选择 费用账单，右侧选择栏选择 账单明细，统计项选择 计费项，统计周期选择 按天，在下方产品一栏筛选datahub，即可看到每天、每一项dataHub的费用明细，如下图所示：收费...
DatahubClientError-其他所有，并且是所有异常的基类 InvalidParameterError InvalidParameter InvalidCursor 非法参数 代码示例 func meter(dh datahub.DataHub,projectName,topicName string){ shardId:="0"gmi,err:=dh.GetMeterInfo...