DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
Dataphin周期实例的运行日志默认保存15个自然日，超过保存时间时将自动清除实例，您可以通过配置实例存储，自定义运行日志的保留时长和补数据工作流及手动实例是否定期清除。本文将为您介绍如何进行实例存储配置。使用限制 基线实例暂不...
弱，扩容需要搬迁数据，小时级 弱，扩容需要搬迁数据，小时级 一写多读 数据分片支持一写多读，读副本水平在线扩展，秒级生效。支持，但增加读副本需要搬数据，小时级生效 支持，但增加读副本需要搬数据，小时级生效 生态体系 数据搬迁 ...
topic":"",/Topic是DataHub订阅和发布的最小单位，您可以用Topic来表示一类或者一种流数据。maxRetryCount":500,/任务失败的重试的最多次数。maxCommitSize":1048576/待积累的数据Buffer大小达到maxCommitSize大小（单位Byte）时，批量...
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
Java SDK Java SDK 数据模型 半结构化的 时序数据表 模型 OpenTSDB风格的时序数据模型 存储引擎 自研的分布式时序存储引擎 基于HBase的KV存储引擎 预计算能力 原生支持 Continuous Query 存储引擎层面数据预降精度能力 不支持 TTL能力 支持...
新功能 Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。基于DLF、RDS、OSS支持Delta Lake或Hudi存储机制 2021-08-...
步骤二：写入流数据 Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka开源客户端或脚本工具连接Lindorm流引擎并写入测试数据。以通过开源Kafka脚本工具写入数据为例。下载并安装Kafka脚本工具。具体操作，请参见 通过开源Kafka脚本...
云原生多模数据库 Lindorm 支持实时数据订阅功能，对实时变更数据进行计算，可以为实时监控，实时报表和流数据分析功能提供有效数据。通过Flink Kafka Connector可以从底层存储消费订阅数据，同时Flink Kafka Connector对订阅数据进行解析...
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
使用限制 数据集成离线写LogHub（SLS）时，由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起数据重复。支持的字段类型 数据集成支持读写的LogHub（SLS）字段类型如下。字段类型 离线读（LogHub（SLS）Reader）离线写（LogHub（SLS...
时序数据高效读写 Lindorm时序引擎提供高效的并发读写，支持每秒百万数据点的数据读取及千万数据点的写入能力。数据写入 支持以下方式进行数据写入：使用SQL的INSERT语句（推荐使用JDBC）。兼容InfluxDB的写入Line Protocol。兼容OpenTSDB...
DataWorks数据集成支持使用Sensors Data Writer将数据写至Sensors Data，本文为您介绍DataWorks的Sensors Data数据同步的能力支持情况。使用限制 目前仅华南1（深圳）地域支持绑定Sensors Data数据源，其他地域会陆续支持，敬请期待！不...
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
Topic Topic是 DataHub 订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据。更多详情请参考：Project及Topic数量限制。Topic Lifecycle 表示一个Topic中写入数据在系统中可以保存的最长时间，以天为单位，最小值为1，最大值...
大吞吐并发读写：30 TB数据集下至少10并发查询流（Query Stream），同时启动数据更新流（Refresh Stream）进行多轮大批量数据增删操作，挑战系统并发能力及ACID能力。分布式事务验证：全面测试数据库系统事务能力，涵盖Atomic、Consistency...
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用 Tunnel 直接导出查询结果。如果SQL比较复杂，请使用Tunnel和...
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
请先执行 flush 操作将数据刷写至磁盘上，再执行 compaction 操作，即可将数据存储至冷存储中。compaction 操作说明如下：HBase Shell使用方式，请执行 major_compact 命令。Lindorm-cli连接使用方式，使用语法请参见 ALTER TABLE。Q：为...
开发与运维一体化的Prod环境，可敏捷管理数据研发流程，强控制生产数据的写权限，平衡数据生产稳定性与灵活性。Basic模式存在直接变更生产风险，请谨慎管理项目成员，控制生产数据稳定性。单击 下一步。步骤二：配置板块定义。在 板块定义 ...
开发与运维一体化的Prod环境，可敏捷管理数据研发流程，强控制生产数据的写权限，平衡数据生产稳定性与灵活性。Basic模式存在直接变更生产风险，请谨慎管理项目成员，控制生产数据稳定性。单击 下一步。步骤二：配置板块定义。在 板块定义 ...
其中，集群地址功能由 PolarDB 数据库代理提供，集群地址分为可读可写（自动读写分离）和只读两种读写模式。支持两种数据库代理版本 数据库代理企业版提供两种版本：企业通用版 和 企业独享版。企业通用版：配套集群子系列的 通用规格，它...
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
接口说明 补充数据时，任务流按照日期串行执行，可指定按日期升序或降序执行。补充数据完成后，可指定日期或日期范围，以及节点范围来运行任务流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
如果迁移的源实例为 PolarDB分布式版，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为PolarDB-X 2.0的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：PolarDB-X 2.0迁移...
如果迁移的源集群为 PolarDB MySQL版，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为PolarDB MySQL版的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：PolarDB MySQL版...
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
多主集群（库表）PolarDB MySQL版 推出 多主集群（库表），实现从一写多读架构到多写多读架构的升级，提升了数据库的并发读写能力。产品架构 多主集群（库表）的架构图如下：集群中所有的数据文件都存放在共享分布式存储（PolarStore）中，...
如果迁移的源数据库类型为MySQL，如自建MySQL、RDS MySQL，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为MySQL的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：MySQL间...
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...