源表DMS_ONLINE_DDL过程中是否复制临时表到目标库 如源库使用 数据管理DMS（Data Management）执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更产生...
说明 时态表，也称动态表，是指基于表的（参数化）视图概念，根据时间记录数据变更历史，分为版本表（可显示数据的历史版本）和普通表（仅显示数据的最新版本）。时态JOIN要求流表定义时间属性，右表要有主键；如右表是维表，则您所设置的 ...
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：已开通MaxCompute和云数据库RDS间的网络连接，详情请参见 访问公网方案。网络打通时，MaxCompute侧仅打通到所填VPC ID的网络连接，如需跨...
完成数据源、网络、资源的准备配置后，您可创建实时同步任务，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。准备...
不支持 认证身份与鉴权说明 数据目录是否能够正常读取数据源下的数据信息，取决于数据源添加至数据目录的方式，具体规则如下：从工作空间绑定的数据源实例添加到数据目录时，该数据目录将使用 数据源配置的身份信息 从数据源读取数据至...
OSS Foreign Table（简称OSS FDW）是基于...支持 不支持 相关文档 使用OSS Foreign Table进行数据湖分析 使用OSS Foreign Table导入和导出数据 使用OSS Foreign Table分区表 OSS Foreign Table最佳实践 OSS Foreign Table数据类型对照表
DataWorks的数据质量监控节点可通过配置数据质量监控规则，监控相关数据源表的数据质量（例如，是否存在脏数据）。同时，支持您自定义调度策略，周期性执行监控任务进行数据校验。本文为您介绍如何使用数据质量监控节点进行任务监控。背景...
这就造成在数据应用存在以下问题：数据开发周期长，响应慢：需要按迭代排期实现，数据使用门槛高不能随时使用。烟囱式开发：开发成本高，复用性低，为每个需求提供对应的数据接口。数据安全和查询性能无法保障：在数据接口开发时往往只考虑...
这就造成在数据应用存在以下问题：数据开发周期长，响应慢：需要按迭代排期实现，数据使用门槛高不能随时使用。烟囱式开发：开发成本高，复用性低，为每个需求提供对应的数据接口。数据安全和查询性能无法保障：在数据接口开发时往往只考虑...
当建模的需求出现时，又遇到数据使用方式已经成型，难以重构的问题。使用StarRocks物化视图进行数据建模可以有效解决以上问题。StarRocks异步物化视图具备以下能力：简化数仓架构：由于StarRocks可以提供一站式数据治理体验，您无需维护...
数据源用于连接各类数据库和存储服务（如MaxCompute、MySQL、OSS等），是 数据集成同步任务 的必备配置，决定任务读取（数据来源）和写入（数据去向）的数据库。数据源的作用 在数据集成任务中，数据源扮演着数据流动两端的“端点”角色：...
当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的数据导出至其他数据源。背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 同步至RDS MySQL，实现增量数据的实时同步。前提条件 已购买 PolarDB MySQL版 集群，详情请参见 创建PolarDB MySQL集群。PolarDB MySQL版 集群已开启...
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 在Dataphin首页，单击顶部菜单栏 研发-数据...
数据资产申请，数据使用者向数据管理方提出使用申请，说明申请方式和申请理由。由租户资产管理员进行资产使用的审核处理。数据资产服务，根据数据资源的性质和特点，选择采用数据表、标签 或接口方式提供资产服务。数据资产下线，根据数据...
全匹配查询（MatchAllQuery）可以匹配所有行，常用于查询表中数据总行数，或者随机返回几条数据。接口 全匹配查询的接口为 Search 或者 ParallelScan，具体的Query类型为 MatchAllQuery。参数 参数 说明 query 设置查询类型为MatchAllQuery...
数据资产申请，数据使用者向数据管理方提出使用申请，说明申请方式和申请理由。由租户资产管理员进行资产使用的审核处理。数据资产服务，根据数据资源的性质和特点，选择采用数据表或接口方式提供资产服务。数据资产下线，根据数据的实际...
功能介绍 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据，使用Tunnel服务时的上传与下载会涉及DownloadTable操作。2023年12月11日 之后创建...
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB MySQL版 集群，详情请参见...
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建目标 云原生数据仓库AnalyticDB MySQL版 3.0...
检查数据库表的数据类型 您可以使用查看表的SQL相关语句（SELECT）查询数据库表的数据类型。示例查看 'tablename' 表数据类型的语句如下。select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename';COLUMN_NAME：...
使用SQL查询时，系统会根据SQL语句自动选择合适的方式来加速SQL访问。SQL查询功能适用于在海量数据中进行在线数据访问类型的场景，SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确...
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
若待迁移的数据中包含需要四字节存储的内容（例如生僻字、表情等信息），则目标端接收数据的数据库和表必须使用utf8mb4字符集。说明 若您使用DTS迁移库表结构，则需将目标库中实例级别的参数 character_set_server 设置为utf8mb4。执行数据...
全量数据迁移 增量数据迁移 RDS MySQL迁移至Tair/Redis Tablestore 库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至Tablestore 云数据库SelectDB版 库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至云数据库SelectDB版 云...
若待迁移的数据中包含需要四字节存储的内容（例如生僻字、表情等信息），则目标端接收数据的数据库和表必须使用utf8mb4字符集。说明 若您使用DTS迁移库表结构，则需将目标库中实例级别的参数 character_set_server 设置为utf8mb4。执行数据...
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
步骤二：在DataWorks中使用SQL查询Tablestore数据 表格存储支持宽表模型、时序模型等数据存储模型，不同数据存储模型的使用SQL查询操作存在差异，请根据所用数据存储模型选择相应操作。当前支持在DataWorks数据分析中对表格存储进行的SQL...
创建数据表后，您可以根据实际情况管理数据表，例如获取实例中的所有表名称、查询数据表的配置信息、更新数据表的配置信息等。注意事项 单个实例最多可以创建64张数据表。创建成功的数据表不能立即提供读写服务。通常在建表成功后一分钟...
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现将三节点企业系列的 RDS MySQL 实例的数据迁移到集群系列的RDS MySQL。前提条件 已创建源和目标 RDS MySQL 实例，创建方式，请参见 创建RDS MySQL实例。目标集群...
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现将三节点企业系列的 RDS MySQL 实例的数据迁移到集群系列的RDS MySQL。前提条件 已创建源和目标 RDS MySQL 实例，创建方式，请参见 创建RDS MySQL实例。目标集群...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文以 RDS MySQL 同步至 RDS MySQL 为例为您介绍在DTS专属集群中配置数据同步任务...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...