编码处理 Databricks Reader 底层使用 JDBC 进行数据抽取，JDBC 会自动处理不同数据库的编码识别与转换。因此，您无需手动配置编码。增量数据同步 Databricks Reader 通过执行 SELECT.WHERE.语句来抽取数据，实现增量同步的关键在于 WHERE ...
该引擎适用于对在线数据有轻量级数据分析需求的场景，例如实时报表和ETL数据加速计算。具体优势包括：高性能：DuckDB 是当前热门的嵌入式AP数据库，凭借其列式存储、即时编译、向量化执行、高效的内存管理以及并行处理等技术，实现了更高的...
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（2048）可能造成数据同步进程OOM。否 512 Writer脚本Demo {"type":...
增量/全量数据抽取规范 抽取时间大于X分钟的，则考虑更改为增量抽取。数仓抽取时间点检查 数仓抽取时业务系统是否ready，抽取的数据是否完整。指标特性检查 细分指标趋势检查 例如会员拉链表记录数相比前一天必须是正增长、当日累计值-上日...
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
是 无 splitPk ApsaraDB for OceanBase Reader进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效率。推荐 splitPk 用户使用表主键，因为表...
【问题描述】Quick BI数据集可以不抽取数据，直接使用数据库的数据吗？【解决方案】数据集支持不开启抽取加速，数据集创建完成后抽取加速默认是关闭的。抽取加速是一种离线数据的加速方案，会有一定延迟的，除了抽取任务待运行，抽取本身也...
是 无 where 筛选条件，BigQuery Reader根据指定的 column、table 和 where 条件拼接SQL，并根据该SQL进行数据抽取。例如在做测试时，可以将 where 条件指定为 LIMIT 10。在实际业务场景中，通常会选择当天的数据进行同步，可以将 where ...
概述 本文主要介绍管道任务抽取数据量少于来源表数据量的原因。详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库...
是 无 splitPk ClickHouse进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效率。说明 当配置了splitPk时，fetchSize参数为必填项。否 无 ...
企业数字化分析的多元化，涵盖了实时的BI决策，实时报表，数据ETL，数据清洗以及AI分析。传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的...
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。费用说明 列存索引功能可免费使用，仅收取列存索引只读节点的费用。列存索引只读节点按照 普通计算节点计费。同时，列存...
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。费用说明 列存索引可直接在行存节点或在添加的列存索引只读节点上执行。在行存节点上使用列存索引：可免费使用。添加列存...
当指定单个远程FTP文件，FTP Reader暂时只能使用单线程进行数据抽取。后期会在非压缩文件情况下针对单个File进行多线程并发读取。当指定多个远程FTP文件，FTP Reader支持使用多线程进行数据抽取。线程并发数通过通道数指定。当指定通配符，...
报表数据来自数据集，需要先确认数据集数据有没有更新，数据集数据如果没有更新的话，需要确认下数据集有没有配置结果缓存和加速抽取，如果有配结果缓存和加速抽取的话，数据集查询会优先从缓存或加速抽取中查询，而不是直连数据库查询。...
概述 Quick BI配置数据集加速后，正在抽取数据是否会影响现有数据集的使用？会不会出现查询数据不一致的情况？详细信息 在抽取过程中，抽取加速不会生效，只有抽取成功后加速才会生效。如果底层数据或结构没有变化不会有影响，底层数据发生...
本指南在将TD数仓应用迁移至 AnalyticDB PostgreSQL 云化数仓过程中，秉承充分复用旧系统架构、ETL算法、数据结构和工具的原则，需对原加工脚本进行转换，另外，需对历史数据进行迁移，并保证数据的准确性，完整性。对数据仓库基础数据平台...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 云数据库MongoDB版（副本集架构或分片集群架构）迁移至云原生多模数据库Lindorm。前提条件 云数据库MongoDB版 为副本集架构或分片集群架构。重要 若源库为分片集群架构...
本文介绍支持的数据脱敏算法。...在源数据表抽取数据并确认数值范围后，对该字段（在范围内）进行列级别的打散重排和随机选择，实现混淆脱敏。随机洗牌 打散重排/随机选择 敏感类型：设备敏感 位置敏感 适用场景：数据存储
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
数据源筛选SQL 从数据源中抽取数据的SQL语句。当节点执行SQL时会自动解析SQL查询的列名，并将其映射为目标表的同步列名。当源表和目标表的列名不一致时，可以通过使用列别名（AS）来进行转换。目标源类型 选择同步数据的数据源类型。目标源...
支持将分散在OSS、MaxCompute、HDFS等异构来源中的数据抽取并转化为向量，写入Milvus、Elasticsearch、Opensearch等向量库，以及Hologres向量表等具备向量存储能力的目标端，能够大幅简化ETL流程，高效实现知识向量化，助力RAG等AI场景落地...
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
本文介绍了通过ETL资源组访问Lindorm宽表引擎和列存数据的方法，包括环境配置、数据源切换、数据操作等步骤。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已开通Lindorm 宽表引擎。已开通Lindorm 计算引擎。已将客户端IP地址添加...
数据探查支持的数据源 如果选择探查的数据量过大，会导致数据库的性能变差，请合理抽取数据进行探查，合理的探查范围请参见 探查范围。数据源类型 探查分区 前N条记录 随机抽样N条记录 百分比抽样N条记录 MySQL 不支持 支持 支持（性能较差...
这极大地简化数据处理流程，让数据工程师和分析师无需编写复杂的算法，即可将AI能力无缝集成到现有的ETL（数据抽取、转换、加载）链路中。准备工作 在DataWorks中部署大模型服务，详情请参见 部署模型。重要 不同模型 和资源规格的选择，将...
3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析；4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控...
背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase、MongoDB），也支持Excel、Access类型的小型数据源。通过扩展插件，Kettle可以支持更多数据源。更...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行...
例如，对一张主键为[Hundreds,Tens,Ones]的三主键Tablestore表进行数据抽取，表中的数据的主键分别为：(0,0,0)(0,0,1)(0,0,2)(0,0,3).(9,9,8)(9,9,9)，共1000列。begin 和 end 的配置如下所示。示例一：抽取 Hundreds 的范围为[3，5]、Tens...
同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
同步PolarDB-X数据源的数据至其他数据源的场景中，您需要先配置PolarDB-X输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB-X输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
功能优势 简单易用：用户无需创建和维护复杂的ETL数据管道，只需选择源端数据和目标端实例，即可自动构建实时数据同步链路。大幅降低数据管道的构建和管理难度，让用户专注于上层应用开发。零成本：Zero-ETL链路不额外收费，可免费实现对...
数据服务 分区表作为来源表时的处理策略 为API设置默认排序规则结果数据的正确性 数据安全最佳实践（1）：数据研发链路上的数据安全保护 数据安全最佳实践（2）：数据脱敏白名单的使用 数据安全最佳实践（3）：数据集成加解密 数据安全最佳...
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Oracle数据...
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...