检查失败处理策略：文件检查任务检查失败后，将不会实际进行数据抽取与写入。针对文件检查任务检查失败的处理策略，支持 置任务失败 和 置任务成功。置任务失败：检查失败后，系统将检查任务置为失败状态，不会执行集成任务。置任务成功：...
sernr1"},{"SERNR":"sernr2"}]} 如果需要将DATA中的多行数据抽取为多条同步记录，则需要将 column 配置为"column":["SERNR"]，dataMode 配置为"dataMode":"multiData"，dataPath 配置为"dataPath":"DATA"以接口返回数据body如下举例，其中...
数仓规划 数据引入 基于全局设计定义的项目空间与物理数据源，将各业务系统、各类型的数据抽取加载至目标数据库。这个过程可以实现各类业务数据的同步与集成，助您完成基础 数据中心 建设，为后续进一步加工数据奠定基础。数据集成 规范...
当指定多个OSS-HDFS文件时，OSS-HDFS Reader支持使用多线程进行数据抽取，线程并发数通过作业并发数concurrent指定。如果要读取多个文件，可以使用简单正则表达式匹配，例如/hadoop/data_201704*。如果文件以时间命名且较为规律，则可以...
是 无 splitPk TiDB Reader进行数据抽取时，如果指定splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效率。推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，...
是 无 splitPk StarRocks Reader进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。推荐splitPk用户使用表主键，因为表主键通常情况下比较...
是 无 splitPk HybridDB for MySQL Reader进行数据抽取时，如果指定 splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，从而提高数据同步的效率。推荐 splitPk 用户使用表主键，因为表主键...
是 无 splitPk AnalyticDB for MySQL 3.0 Reader进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。推荐 splitPk 用户使用表主键，因为表...
数据源筛选SQL 从数据源中抽取数据的SQL语句。当节点执行SQL时会自动解析SQL查询的列名，并将其映射为目标表的同步列名。当源表和目标表的列名不一致时，可以通过使用列别名（AS）来进行转换。目标源类型 选择同步数据的数据源类型。目标源...
通常，数据库的性能越好，它可以承载的并发数越高，您可以为数据同步作业配置越多的并发数据抽取。网络：网络的带宽（吞吐量）、网速。离线同步任务使用的调度资源组 离线同步任务将有调度资源下发至数据集成任务执行资源上执行，调度资源...
概述 Quick BI配置数据集加速后，正在抽取数据是否会影响现有数据集的使用？会不会出现查询数据不一致的情况？详细信息 在抽取过程中，抽取加速不会生效，只有抽取成功后加速才会生效。如果底层数据或结构没有变化不会有影响，底层数据发生...
为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表提速、实时数据计算等。企业在数字化转型过程中，涉及实时数据...
数据湖存储与管理 对象存储OSS 数据湖构建DLF 将在线数据库中的源数据引入数据湖时，OSS会作为数据湖的统一存储，存储机制包含Delta Lake和Hudi两种。同时，DLF采用元数据管理功能管理元数据库和元数据表。数据湖探索与分析 MaxCompute ...
阿里云DataWorks数据集成推出Embedding向量化功能，支持将分散在OSS、MaxCompute、HDFS等异构来源中的数据抽取并转化为向量，写入Milvus、Elasticsearch、Opensearch等向量库，以及Hologres向量表等具备向量存储能力的目标端，能够大幅简化...
数据探查支持的数据源 如果选择探查的数据量过大，会导致数据库的性能变差，请合理抽取数据进行探查，合理的探查范围请参见 探查范围。数据源类型 探查分区 前N条记录 随机抽样N条记录 百分比抽样N条记录 MySQL 不支持 支持 支持（性能较差...
数据采集层：负责从多个业务系统或外部数据源中抽取数据，并进行初步处理，如清洗和格式转换。数据加工层：接收经过初步处理的数据，进行进一步的清洗、整合和转换，生成可供分析使用的主题数据。数据应用层：包含整合后的主题数据，提供...
数据采集层：负责从多个业务系统或外部数据源中抽取数据，并进行初步处理，如清洗和格式转换。数据加工层：接收经过初步处理的数据，进行进一步的清洗、整合和转换，生成可供分析使用的主题数据。数据应用层：包含整合后的主题数据，提供...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
模型：单据票证信息抽取 数据驱动，通过小样本数据标注、训练，实现对版式相对固定的单据、证件、凭证的关键字段进行信息抽取，更多信息及操作详见 操作指南。表格信息抽取 数据驱动，通过小样本数据标注、训练，实现对版式相对固定的表格...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行...
同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
同步PolarDB-X数据源的数据至其他数据源的场景中，您需要先配置PolarDB-X输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB-X输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
例如，对一张主键为[Hundreds,Tens,Ones]的三主键Tablestore表进行数据抽取，表中的数据的主键分别为：(0,0,0)(0,0,1)(0,0,2)(0,0,3).(9,9,8)(9,9,9)，共1000列。begin 和 end 的配置如下所示。示例一：抽取 Hundreds 的范围为[3，5]、Tens...
数据探查支持的数据源 如果选择探查的数据量过大，会导致数据库的性能变差，请合理抽取数据进行探查，合理的探查范围请参见 探查范围。数据源类型 探查分区 前N条记录 随机抽样N条记录 百分比抽样N条记录 MySQL 不支持 支持 支持（性能较差...
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Oracle数据...
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
同步AnalyticDB for PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for PostgreSQL输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输入组件。前提条件 在...
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源。如何创建，请参见 创建Impala数据源。进行Impala...
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源。如何创建，请参见 创建IMPALA数据源。进行Impala...
同步GaussDB（DWS）数据源的数据至其他数据源的场景中，您需要先配置GaussDB（DWS）输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置GaussDB（DWS）输入组件。前提条件 已创建GaussDB（DWS）数据源。具体...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。前提条件 已创建Vertica数据源。具体操作，请参见 创建Vertica数据源...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。前提条件 已创建Vertica数据源。具体操作，请参见 创建Vertica数据源...
同步GaussDB（DWS）数据源的数据至其他数据源的场景中，您需要先配置GaussDB（DWS）输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置GaussDB（DWS）输入组件。前提条件 已创建GaussDB（DWS）数据源。具体...
离线抽取数据的业务场景。计费方式 PolarDB-X 1.0计算资源只读实例 提供多种规格配置的按量付费，计费周期为1小时，不足1小时按1小时计算，计费详情请参见 只读实例定价说明。说明 关于只读实例欠费后的服务可用性，请参见 欠费预警/停机...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 已创建...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 已创建...
同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。前提条件 已创建Greenplum数据源。具体操作，请参见 创建Greenplum...