一、环境要求 源端已安装好Oracle11g（当前插件版本仅支持ORA11g数据库）源端已安装好OGG（建议版本Oracle GoldenGate V12.2.0.2，V12.2.X均可以使用）目标端已安装好OGG Adapters（建议版本Oracle GoldenGate Application Adapters V12.2....
default：将DataHub数据逐条写入Hologres。dts_old：不启用新的附加列规则。dts：启动新的附件列规则。导入字段 需要导入Hologres的字段。可以根据实际业务需求选择导入部分或全部字段。鉴权模式 默认为AK。无 AccessId 访问Hologres实例的...
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
上传至DataHub请使用：DataHub Logstash Output插件 logstash-output-datahub-1.0.10.gem 适配Logstash 6、7 logstash-output-datahub-1.0.12.gem 适配Logstash 8 下载DataHub中数据请使用：DataHub Logstash Input插件 logstash-input-...
针对TUPLE类型topic，MaxCompute目标表数据类型需要和DataHub数据类型相匹配，具体的数据类型映射关系如下：MaxCompute DataHub BIGINT BIGINT STRING STRING BOOLEAN BOOLEAN DOUBLE DOUBLE DATETIME TIMESTAMP DECIMAL DECIMAL TINYINT ...
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 订阅数量限制 单个topic...
本文为您介绍使用DataHub前的准备工作操作流程。 操作流程 准备工作的基本操作流程如下 流程 说明 步骤一：阿里云账号 创建阿里云账号并实名认证。步骤二：开通DataHub服务 开通DataHub服务。步骤三：创建Project和Topic 您需要创建...
参数 描述 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。描述 Project的...
Connector 说明 DataHub Connector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute（原ODPS）、OSS（Object Storage Service，阿里云对象存储服务）、ES（Elasticsearch）、ADS...
合法取值 acs:SourceIp 指定ip网段 普通ip,支持*通配 acs:SecureTransport 是否是https协议 true/false acs:MFAPresent 是否多设备认证 true/false acs:CurrentTime 指定访问时间 ISO8601格式 DataHub系统授权策略 DataHub授权策略在RAM...
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
订阅功能使用介绍 目前用户在DataHub上消费Topic数据，为了做到“断点续消费”的功能，即消费者failover重启后可以继续从failover时间点继续获取数据，需要用户自己保存当前消费的点位信息，同时用户还需要关心自己的点位存储服务的高可用...
创建Project 控制台地址 DataHub WebConsole 创建Project 在WebConsole中直接点击创建Project后填写相关信息,注意同一个Region内...需要注意的是，一旦删除Project，该Project下所有Topic，数据，及资源均被删除，无法恢复，请谨慎操作。
用量价格查询 在首页选择”费用中心”，如下图所示：在费用中心选择 费用账单，右侧选择栏选择 账单明细，统计项选择 计费项，统计周期选择 按天，在下方产品一栏筛选datahub，即可看到每天、每一项dataHub的费用明细，如下图所示：收费...
DataHub的管理控制台为您提供了多种指标，您可以通过Topic详情页面查看 读写请求、实时流量、历史流量 等信息，本文为您介绍相关指标的含义。Metric指标 QPS：读写Request/Second。RPS：读写Record/Second。Throughput：读写Throughput/...
func cursor(dh datahub.DataHub,projectName,topicName string){ shardId:="0"gr,err:=dh.GetCursor(projectName,topicName,shardId,datahub.OLDEST)if err!nil { fmt.Println("get cursor failed")fmt.Println(err)}else{ fmt.Println(gr...
介绍 DataHub 的 SDK 目前主要分为两种，分别是 Low-Level 和 High-Level，Low-Level 实现了 DataHub 服务端定义的 API，一般适合做资源的管理；High-Level SDK 一般称为 client-library，分为两个大模块 Producer 和 Consumer，是对 Low-...
nil { fmt.Println("Get records failed",err)break } if gr.RecordCount=0 { fmt.Println("No data,sleep 5 seconds.")time.Sleep(time.Second*5)continue } for_,record:=range gr.Records {/处理数据，这里只打印 data,_:=record.(*...
OGG for Bigdata是Oracle官方的将数据库数据实时流式传输到大数据系统的工具，对于Oracle19c及以下的版本均可以支持，目前OGG for Bigdata可以将数据写入Kafka，而DataHub已经兼容Kafka Producer/Consumer协议，所以用户除了使用DataHub...
创建Topic 创建Tuple Topic Tuple类型的Topic写入数据是具有格式的，需指定Record Schema，以下为支持的数据类型：类型 含义 值域 BIGINT 8字节有符号整型-9223372036854775807~9223372036854775807 DOUBLE 8字节双精度浮点数-1.0_10^308~1...
group是一组topic的集合，以group为单位进行数据订阅，就可以订阅group内的所有topic，目前主要用于kafka协议兼容。为了更好兼容Kafka订阅方式，支持同时订阅多个Topic，DataHub提供了group的功能，用户可以在project下创建group并绑定想要...
本文为您展示DataHub的 C++ SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用一定...
} }/保证退出前，数据全部被发送完 producer.flush(true);producer.close();} DataHub支持多种写入方式，更多方式请参考 SDK介绍 查看数据写入情况 写入完成后，可点击Topic页面 shard数据标签查看数据写入shard情况 指标查看 点击Topic...
安装SDK 在Maven项目中添加依赖：dependency groupId com.aliyun.datahub/groupId artifactId aliyun-sdk-datahub/artifactId version 2.29.1 /version /dependency JDK：使用1.8及以上版本。如果API开启了密钥认证，您还需要在工程中配置相应的...
producerConf.SetMaxAsyncBufferRecords()具体参数及类型说明如下图所示:参数名称 类型 是否必须 默认值 描述 mMaxAsyncBufferRecords int64_t 否 异步发送时，最大攒批的数据条数，一般通过 size 控制，所以这里默认值为 INT_MAX ...
本文为您展示DataHub的 GO SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用一定...
无法按HashKey和PartitionKey方式写入数据，需要自定义在应用层hash取模，并且需要注意扩容导致的写入shard发生变化 Shard水平扩展模式 DataHub支持Topic Shard 水平扩展，创建Topic时开启Shard扩展模式即可 步骤一 开启Shard扩展模式 步骤...
本文为您展示DataHub的 Java SDK的Shard操作。Shard说明 Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态：Opening：为启动中状态。Active：为启动完成可服务状态。每个Shard启用以后会占用...
您需要开通DataHub服务，才可以在DataHub中执行读写等操作。本文为您介绍如何开通DataHub。操作步骤 进入 DataHub产品详情页 选择地域，阅读并勾选协议，点击立即开通，完成购买 DataHub服务将在数分钟内开通完成
ok { fmt.Println("Subscription used by other one")break } else { fmt.Println("Commit offset failed",err)break } } recordCount=0 } } cursor=gr.NextCursor } } 接口示例 project 操作 项目（Project）是DataHub数据的基本组织单元,...
欢迎扫码加入钉钉用户群。DataHub公共云用户群 欢迎扫码或搜索群号：21954235 加入钉钉用户群。
nil { fmt.Println(err)} } Hash 写入 如果数据有保序的需求，那么需要根据一些信息进行 hash，相同 hash 值的数据会写入到同一个 shard，单个 shard 的数据是可以保证顺序的，一般 hash 写入建议使用异步的方式写入。func ...
需要注意的是，一旦删除Topic，该Topic下的数据，资源(Shard,Connector)均被删除，无法恢复，请谨慎操作。新增Version DataHub允许对已经创建的Topic进行字段的修改，并生成新的version版本。注意：对于使用DTS、以及Logstash插件、Flume...
公共返回Header 名字 描述 Content-Type 传输数据序列化协议 Content-Length 传输数据长度 x-datahub-request-id 全局唯一请求ID 3.错误码 名字 描述 备注 InvalidParameter 参数错误 InvalidCursor Cursor无效 NoSuchXXX 资源不存在 ...
DataHub社区文章 简介：DataHub在云栖社区输出了一系列文章，有助于您了解和使用DataHub DataHub操作指南 DataHub使用指南 新功能说明 datahub3月份新功能概览 DataHub常见问题归类 Topic：...
Topic说明 Topic 是 DataHub 订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据，目前支持Tuple与Blob两种类型：Blob类型 Topic支持写入一块二进制数据作为一个Record。Tuple类型 的Topic支持类似于数据库的记录的数据，每条...
本文为您展示DataHub的 C++ SDK的Meter 操作。参数说明 参数名 参数类型 参数说明 projectName String 项目名称。topicName string Topic名称 shardId string 代码示例 void GetMeter(){ try { GetMeteringInfoResult GetMeteringInfo=...
过期欠费行为 用户在欠费1天内正常服务，欠费超过1天后系统会下线project/topic并停服，相关资源均不会删除。存储会根据生命周期进行清理，欠费期间您所占用的存储空间的这部分资源仍会继续扣费（累计7天，直到资源被收回收）。用户在欠费7...
DataHub底层硬件资源升级公告 尊敬的DataHub用户：DataHub将于北京时间 2025年12月22号（周一）上午10:00至下午18:00，升级 华北2（北京）地域 的DataHub底层硬件资源。在此期间，客户业务可能有秒级抖动，如对业务有影响可及时通过工单...
f filepath-p test_topic-t test_topic-m","-n 1000 示例：CSV文件上传 下面以CSV文件为例，说明下如何使用console工具将CSV文件上传到DataHub数据。CSV文件的格式如下所示：1.0,qe614c760fuk8judu01tn5x055rpt1,true,100.1,14321111111 2....