对于表级别的数据同步,请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更,否则会导致同步失败。对于表级别的数据同步,如果除DTS以外的数据没有写入目标库,您可以使用数据管理DMS(Data Management)来执行...
如同步对象为单个或多个表(非整库),那么在数据同步时,勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更,否则会导致同步失败。您可以使用数据管理DMS(Data Management)来执行在线DDL变更,请参见 不锁表结构...
例如同步对象只包含表A,如果同步过程中源实例将表A重命名为表B,那么表B将不会被同步到目标库。为避免该问题,您可以在数据同步配置时,选择同步表A和表B所在的整个数据库作为同步对象。费用说明 同步类型 链路配置费用 库表结构同步和全...
如同步对象为单个或多个表(非整库),那么在数据同步时,勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更,否则会导致同步失败。您可以使用数据管理DMS(Data Management)来执行在线DDL变更,请参见 不锁表结构...
Atlas MCP工具箱支持手动启停,未启用的服务将无法在交互对话搜索中调用。单击返回结果底部的 图标会重新执行上次对话搜索;单击 图标会展开对话输入框,适用于输入内容较多的场景;单击 开启新对话 按钮可以清屏当前对话页面。
手动拖拽连线,将 workshop 节点设置为两个离线同步节点的上游节点。最终效果如下:工作流调度配置。在工作流编排页面右侧单击 调度配置,配置相关参数。以下为本教程所需配置的关键参数,未说明参数保持默认即可。调度配置参数 说明 调度...
默认情况下,您还需要同时选中 库表结构同步 和 全量同步。预检查完成后,DTS会将源实例中待同步对象的全量数据在目标集群中初始化,作为后续增量同步数据的基线数据。源库触发器迁移方式 请根据实际情况选择同步触发器...
日志备份:当前仅收取使用实例存储空间的费用,计费方式和 PolarDB-X 存储空间的价格与计费方式一致,详情请参见 计费概览。数据恢复:由于数据是恢复到新实例上,因此需要收取新实例的费用。全局一致性 PolarDB-X 是一款分布式数据库,...
若同步对象为表级别,且需进行编辑(如表列名映射),单次同步任务的表数量超过5000时,建议您拆分待同步的表,分批配置多个任务,或者配置整库的同步任务,否则任务提交后可能会显示请求报错。Binlog日志:在 PolarDB-X 2.0 控制台参数...
若同步对象为表级别,且需进行编辑(如表列名映射),单次同步任务的表数量超过5000时,建议您拆分待同步的表,分批配置多个任务,或者配置整库的同步任务,否则任务提交后可能会显示请求报错。Binlog日志:在 PolarDB-X 2.0 控制台参数...
若同步对象为表级别,且需进行编辑(如表列名映射),单次同步任务的表数量超过5000时,建议您拆分待同步的表,分批配置多个任务,或者配置整库的同步任务,否则任务提交后可能会显示请求报错。Binlog日志:在 PolarDB-X 2.0 控制台参数...
对于表级别的数据同步,请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更,否则会导致同步失败。对于表级别的数据同步,如果除DTS以外的数据没有写入目标库,您可以使用数据管理DMS(Data Management)来执行...
如同步对象为单个或多个表(非整库),那么在数据同步时,勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更,否则会导致同步失败。您可以使用数据管理DMS(Data Management)来执行在线DDL变更,请参见 不锁表结构...
可通过通道服务、DataWorks、DataX或命令行工具等方式完成数据表到数据表的同步操作。前提条件 获取源数据表和目标数据表的实例名称、实例访问地址、地域ID 等信息。为阿里云账号或具有表格存储权限的RAM用户 创建AccessKey。使用SDK同步...
前提条件 已新建逻辑表,具体操作,请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 手动新建逻辑表。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 ...
导出文件格式 通过命令行工具直接下载 宽表模型 JSON 通过DataX工具直接下载 宽表模型 时序模型 CSV TEXT 通过DataWorks工具同步数据到OSS后再下载 宽表模型 时序模型 CSV TEXT 通过命令行工具直接下载 通过命令行工具将表中数据导出到本地...
前提条件 已新建逻辑表,具体操作,请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 手动新建逻辑表。背景信息 DDL(Data Definition Language),数据库模式定义语言,是SQL语言的组成部分。DDL主要定义了数据表的表结构以及...
前提条件 已新建逻辑表,具体操作,请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 手动新建逻辑表。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 ...
快照阶段执行Checkpoint时报错,JobMananger内存不足 作业增量阶段从状态恢复时失败,JobMananger内存不足 快照即将结束时作业失败,TaskManager内存不足 使用 pt-osc 等无锁变更工具变更表结构后,无数据输出 使用 pt-osc 等无锁变更工具...
参数名称 说明 SQL DDL SCRIPT 如果您需要通过编写SQL脚本的方式创建表,手动在 SQL DDL SCRIPT 区域编写SQL脚本即可,无需配置其他参数。建表语法请参见 创建表。方式二:通过配置表参数的方式创建表。需要配置的参数信息如下。参数名称 ...
已新建逻辑表,具体操作,请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 手动新建逻辑表。背景信息 将逻辑表字段关联已创建的数据标准字段后,质量规则页面,可以快速批量生成字段的质量规则。操作步骤 登录 数据资源平台控制...
手动执行物理表 当运行方式选择的是 手动执行 时,物理化数据字典后,需要手动运行已上线的数据字典,在 数据字典管理 页面的 物理表 页签,单击目标物理表 操作 列的 手动执行,运行已经上线的物理表。说明 如果字典的值有更新,可以通过...
尝试执行变更表类型的DDL,使range_tbl表从手动分区表变成单表,这将引发range_tbl表内的数据重分布。ALTER TABLE range_tbl SINGLE;(4700,"ERR-CODE:[TDDL-4700][ERR_SERVER]server error by Failed to execute the DDL task.Caused by:...
创建使用手动分区的数据库 在 PolarDB-X 中,要使用透明分布式的手动分区工作模式,可以使用以下的建库 SQL(创建AUTO模式数据库):CREATE DATABASE autodb1 MODE='auto' 手动分区的表类型及其使用方式 PolarDB-X 中的手动分区,允许用户...
前提条件 已新建逻辑表,具体操作,请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 手动新建逻辑表。已完成逻辑表的物理化,具体操作,请参见 物理化逻辑表。背景信息 物理一致性:检查模型物理化表与逻辑表最新发布态是否一致...
本文为您汇总了各类型节点的自动解析配置原则,以及不支持自动解析的场景...当同步任务产出一张表时,需手动将该表添加为节点的输出,格式为 projectname.tablename。以便下游节点对该表进行数据清洗时,可通过自动解析快速设置节点依赖关系。
(可选)配置字段血缘:当需要查看资产中数据表的血缘关系时,在配置完节点的输入输出参数后,单击 手动设置血缘开关,在 血缘配置 对话框中,单击输出表待配置的目标字段后的 图标,下拉选择对应的输入表以及输入表的字段。说明 配置完...
解决方案 多级表头的内容当前有以下实现方式:1 如果是已经存储在数据集的字段中,或者是比较简单可以通过数据集中新建维度分组功能进行手动新增的情况下可以在交叉表中通过将维度配置在列上进行交叉。配置效果如下 2 内容比较简单的场景也...
本文中的命令您可以在如下工具平台执行:MaxCompute客户端 使用SQL分析连接 使用云命令行(odpscmd)连接 使用DataWorks连接 MaxCompute Studio 删除表 删除分区表或非分区表。具备删除表权限(Drop)的用户。创建表 创建非分区表、分区表...
通过HBase Shell工具统计表行数 使用HBase RowCounter统计表行数 通过Lindorm SQL统计表行数 如果您要粗略查询Lindorm宽表的行数,可以通过Lindorm集群管理系统的 表概览 页面进行查看,详情请参见 通过集群管理系统粗略查看表行数。...
本文将指导您如何使用StarRocks...查看迁移事务状态:迁移工具会为每张表开启一个事务,您可以通过查看事务的状态了解该表的迁移进度。SHOW PROC"/transactions/db_name/running;其中,db_name 为该表所在数据库的名称。返回结果中会显示当前...
什么情况下需要收集统计信息 当表上有大量的数据修改时,例如从数据源加载大量数据(ETL)或者大量历史数据归档,建议手动收集表上的统计信息,以保证查询优化器可以选取最优的执行计划。如何收集统计信息 您可以 连接MySQL实例 后执行如下...
前提条件 已新建逻辑表,具体操作,请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 手动新建逻辑表。背景信息 如果逻辑表字段配置了 关联字段标准 的值,则在质量规则页面,Lindorm、RDS MySQL、PostgreSQL、AnalyticDB ...
配置完逻辑库后,系统会自动解析逻辑库中符合条件的物理表,生成逻辑表,您也可以手动更新逻辑表。本文介绍生成逻辑表的规则和手动更新逻辑表的方法。前提条件 已配置逻辑库。更多信息,请参见 逻辑库。逻辑库中有多张表结构相同且表名前缀...
通过设置逻辑表质量规则并运行质量检测计划后,您可以查看逻辑表质量检查结果,方便用户掌握当前逻辑表的质量状况,您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
手动备份部分库表 方式一:通过RDS控制台的默认备份 通过手动创建一个备份任务,从而 备份指定数据库,暂 不支持备份指定表。前提条件 RDS MySQL实例需满足以下条件:大版本:8.0、5.7或5.6 系列:高可用系列 存储类型:高性能本地盘 说明 ...
实时计算Flink版通过Flink SQL定义源表、维表和结果表,通过定义时序引擎Sink连接器的参数,将结果表映射到Lindorm时序表,从而将Flink处理后的结果数据写入Lindorm时序引擎。使用时序引擎SINK插件,需要先获取 时序引擎SINK插件,再将JAR...
背景信息 通过Hive Catalog,您可以:直接查询Hive数据,无需手动建表。使用INSERT INTO或在3.1版本及以上版本中利用异步物化视图,对Hive数据进行加工和建模,并导入到StarRocks。在StarRocks中创建或删除Hive数据库表,或通过INSERT INTO...
因此,根据一个逻辑库对于所有业务的MySQL单表的建表SQL默认所采用的方案有纯单表方案、单表打散方案、自动分区方案,我们可以将透明分布式的功能划分为以下三种工作模式:单表打散 自动分区 手动分区(默认)透明分布式的工作模式 由于...
元数据更新延迟 元数据操作可能存在一定延迟,通过可视化方式新建、更新或删除表后,若界面搜索不到表,或删除后表仍可见,可通过 数据地图 的手工同步工具,手动同步相关操作结果。详情请参见 手工同步工具。进入数据开发(DataStudio)...