同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面...
调用GetStreamRecord接口读取当前Shard的增量内容。请求消息结构 message GetStreamRecordRequest { required string shard_iterator=1;optional int32 limit=2;optional string table_name=3;} 名称 类型 是否必选 描述 shard_iterator ...
表格存储OTS已与操作审计服务集成，操作审计支持将数据事件投递到日志服务SLS的LogStore中，您可以在日志服务SLS对数据事件进行查询分析，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生...
LocalDiskReadBytes 所有Connector Scan执行节点从本地缓存读取的压缩数据大小之和。该指标仅适用于存算分离实例。RemoteReadBytes 所有Connector Scan执行节点从OSS对象存储读取的压缩数据大小之和。该指标仅适用于存算分离实例。...
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
INSERT INTO SELECT 短时间内大量数据写入，当后台Build任务堆积时会导致实时数据增多，此时查询如果涉及实时数据的话，数据库需要扫描大量实时数据（因为实时数据没有索引），最终导致CPU使用率增高。Build Build任务会对数据进行构建索引...
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
同步Easysearch数据源的数据至其他数据源的场景中，您需要先配置Easysearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Easysearch输入组件。前提条件 已创建Easysearch数据源。具体操作，请参见 创建...
读取数据时点 设置指定开始时间会让所有支持startTime的来源表（Log Service、Kafka、MySQL、MongoDB、OceanBase）均从该时刻开始读取数据，默认为当前时间。重要 SQL作业中的代码参数配置将优先于此指定的开始时间。Fusioninsight Flink...
同步DolphinDB数据源的数据至其他数据源的场景中，您需要先配置DolphinDB输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置DolphinDB输入组件。前提条件 已创建DolphinDB数据源。具体操作，请参见 创建...
同步DolphinDB数据源的数据至其他数据源的场景中，您需要先配置DolphinDB输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置DolphinDB输入组件。前提条件 已创建DolphinDB数据源。具体操作，请参见 创建...
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。前提条件 已创建Greenplum数据源。具体操作，请参见 创建Greenplum...
同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。前提条件 已创建Greenplum数据源。具体操作，请参见 创建GreenPlum...
离线计算访问Hbase建议禁止缓存 当离线访问HBase时，往往就是一次性的读取，此时读取的数据没有必要存放在blockcache中，建议在读取时禁止缓存。scan.setBlockCache(false)服务端优化 请求是否均衡 读取的压力是否都在一台或者几台之中，在...
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
其中，缓存命中总量为所有CONNECTOR_SCAN算子从本地缓存中读取的数据总量，缓存miss总量为所有CONNECTOR_SCAN算子从远程存储中读取的数据总量。本地IO时间占比 通过 本地IO总时间/（本地IO总时间+远程IO总时间）计算，反映读取本地缓存的IO...
同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 已创建...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 已创建...
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
同步TDengine数据源的数据至其他数据源的场景中，您需要先配置TDengine输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置TDengine输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
为提升用户体验，云原生多模数据库 Lindorm 会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm计算引擎的版本更新说明。查看计算引擎版本 进入SparkUI界面。如何进入，请参见 进入SparkUI界面。单击 ...
同步TDengine数据源的数据至其他数据源的场景中，您需要先配置TDengine输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置TDengine输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
读取数据 从表格存储的数据表读取数据，读取方式包括单行读取、批量读取、范围读取等。删除数据 删除表格存储数据表中的数据，删除方式包括单行删除和批量删除。过滤器 在服务端对读取结果再进行一次过滤，根据过滤器（Filter）中的条件...
同步openGauss数据源的数据至其他数据源的场景中，您需要先配置openGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置openGauss输入组件。前提条件 已创建openGauss数据源，如何创建，请参见 创建openGauss...
同步openGauss数据源的数据至其他数据源的场景中，您需要先配置openGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置openGauss输入组件。前提条件 已创建openGauss数据源，如何创建，请参见 创建openGauss...
同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行操作前，请确认您已完成以下操作：已创建PostgreSQL...
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行Kudu输入组件属性配置的账号，需具备该数据源...
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。前提条件 已创建Elasticsearch数据源。具体操作，请参见 ...
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。前提条件 已创建Elasticsearch数据源。具体操作，请参见 ...
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
参数 描述 指定来源表读取数据时点 设置读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service、Kafka、MySQL、MongoDB、OceanBase指定来源表读取数据时点。SQL作业中的代码参数...
同步Databricks数据源的数据至其他数据源的场景中，您需要先配置Databricks输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Databricks输入组件。前提条件 已创建Databricks数据源。具体操作，请参见 创建...
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
通过观察Pattern的读取数据占比，可以初步判断该时段内某类查询的数据读取量是否较大，您也可以结合 表读取结果数据量监控指标 进一步分析。点击查看数据读取总量占比的计算方法 假设有5条SQL（分别为：SQL1、SQL2、SQL3、SQL4、SQL5），...