参数 描述 指定来源表读取数据时点 设置读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service、Kafka、MySQL、MongoDB、OceanBase指定来源表读取数据时点。SQL作业中的代码参数...
同步Databricks数据源的数据至其他数据源的场景中，您需要先配置Databricks输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Databricks输入组件。前提条件 已创建Databricks数据源。具体操作，请参见 创建...
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
同步Databricks数据源的数据至其他数据源的场景中，您需要先配置Databricks输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Databricks输入组件。前提条件 已创建Databricks数据源。具体操作，请参见 创建...
通过观察Pattern的读取数据占比，可以初步判断该时段内某类查询的数据读取量是否较大，您也可以结合 表读取结果数据量监控指标 进一步分析。点击查看数据读取总量占比的计算方法 假设有5条SQL（分别为：SQL1、SQL2、SQL3、SQL4、SQL5），...
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
步骤四：读取数据 数据读取分为主键读取和索引读取两类。具体说明如下：主键读取 基于原生表格存储的主键列获取，例如GetRow、GetRange、BatchGetRow等。主键读取用于索引（自动）反查，您也可以提供主键（订单md5）的单条查询的页面给目标...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。前提条件 已创建Vertica数据源。具体操作，请参见 创建Vertica数据源...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。前提条件 已创建Vertica数据源。具体操作，请参见 创建Vertica数据源...
步骤四：读取数据 数据读取包括如下两种方式：主键读取 通过getRow,getRange,batchGetRow等接口基于原生表格存储的主键列读取数据。主键读取用于索引（自动）反查，您也可以提供主键（文件编号md5）的单条查询的页面，亿量级下查询速度保持...
同步SelectDB数据源的数据至其他数据源的场景中，您需要先配置SelectDB输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置SelectDB输入组件。前提条件 已创建SelectDB数据源。具体操作，请参见 创建SelectDB...
同步SelectDB数据源的数据至其他数据源的场景中，您需要先配置SelectDB输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置SelectDB输入组件。前提条件 已创建SelectDB数据源。具体操作，请参见 新建SelectDB...
调用GetRange接口读取指定主键范围内的数据。请求消息结构 message GetRangeRequest { required string table_name=1;required Direction direction=2;repeated string columns_to_get=3;不指定则读出所有列。optional TimeRange time_...
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源。如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源。如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
接口说明：调用此接口从指定的UDP句柄读取指定长度数据到缓冲区，阻塞时间不超过指定时长，若读取到指定长度数据完需立即返回。注意 调用该接口之前需要调用HAL_UDP_connect()设置好源地址和端口。参数说明：参数 数据类型 方向 说明 p_...
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源。...
cursor 调用 GetRecords 读取数据 读取数据为空，sleep 一段时间，继续步骤 6 读取数据不为空，处理数据并更新 cursor，继续步骤 6 周期性调用 ListShard 更新 shard 信息，周期性调用 CommitOffset 更新消费点位 Consumer 消费流程 初始化...
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 已创建ClickHouse数据源。具体操作，请参见 创建...
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 已创建PolarDB数据源。具体操作，请参见 创建PolarDB数据源。进行...
同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源。...
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 已创建ClickHouse数据源。具体操作，请参见 创建...
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建、读取...
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 已创建PolarDB数据源。具体操作，请参见 创建PolarDB数据源。进行...
Lastpoint索引可用于快速检索各时间线的最新时间点数据，您可以使用CreateTimeseriesLastpointIndex接口为时序表创建Lastpoint索引。创建Lastpoint索引时，您需要配置时序表名称和Lastpoint索引名称，以及根据需要配置是否在Lastpoint索引...
Lastpoint索引可用于快速检索各时间线的最新时间点数据，您可以使用CreateTimeseriesLastpointIndex接口为时序表创建Lastpoint索引。创建Lastpoint索引时，您需要配置时序表名称和Lastpoint索引名称，以及根据需要配置是否在Lastpoint索引...
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化Client。已创建二级...
配置Doris输入组件后，可以读取Doris数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Doris输入组件。前提条件 已创建Doris数据源。具体操作，请参见 新建Doris数据源。进行Doris输入组件属性配置的账号，需具备该...
配置Doris输入组件后，可以读取Doris数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Doris输入组件。前提条件 已创建Doris数据源。具体操作，请参见 创建Doris数据源。进行Doris输入组件属性配置的账号，需具备该...
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。说明 二级索引包括全局二级索引和本地二级索引。关于二级索引的更多信息，...
表格存储提供了单行读取、批量读取和范围读取的查询方式用于读取数据表中数据。当要读取单行数据或者批量读取表中数据时，您必须指定行的完整主键；当要范围读取表中数据时，您需要指定完整主键范围或者主键前缀。读取数据时支持配置返回...
同步OceanBase数据源的数据至其他数据源的场景中，您需要先配置OceanBase输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置OceanBase输入组件。前提条件 已创建OceanBase数据源。具体操作，请参见 创建...