ANALYZE 在 pg_statistic 中存储的信息量（特别是每个列的 most_common_vals 中的最大项数和 histogram_bounds 数组）可以用 ALTER TABLE SET STATISTICS 命令为每一列设置，或者通过设置配置变量 default_statistics_target 进行全局设置...
timestamp 时间列，数据类型需为BIGINT，否则，需使用相应的方法进行转换。例如，数据类型为TIMESTAMP，需使用TIMESTAMPDIFF函数求时间戳列和初始时间的差值：select uid,window_funnel(cast(1800 as integer),"default",TIMESTAMPDIFF('...
写入目标数据源时，对源端DDL及DML操作的注意事项 当源端新增列，并在目标端正常执行后，会有以下限制：当新增DEFAULT VALUE列后，目标表该新列不会有值，会一直为NULL，后续当源端新增列中新增数据时，实时同步任务会将新增数据同步至该列...
Writer中的列的定义顺序必须与Reader的列顺序匹配，Reader中的列顺序定义了输出的每一行中，列的组织顺序。而Writer的列顺序，定义的是在收到的数据中，Writer期待的列的顺序。示例如下：Reader的列顺序为c1，c2，c3，c4。Writer的列顺序为...
SELECT.FOR UPDATE 和 SELECT.FOR SHARE 除了 SELECT 权限外，还需要至少一列上的这个权限。对于序列，这个权限允许使用 nextval 和 setval 函数。对于大对象，此权限允许写入或截断对象。DELETE 允许 DELETE 从表、视图等等中删除行....
说明 如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中...
如果在生成sorted run时就物化查询需要输出的所有列，则计算过程中对一条记录的Copy/Swap需要对每一列都进行相应操作，带来很大的overhead。而如果仅物化RowID，则可以降低Copy/Swap的代价。延迟物化的不足之处在于根据结果集中的RowID从...
但是，如果您在建表时手动指定为某一列或某几列创建索引（例如 INDEX(id)），则 AnalyticDB for MySQL 不会再为表中其他列自动创建索引。PRIMARY KEY 定义主键索引。基本使用：每个表只能有一个主键。主键可以是单个列或多个列的组合，例如...
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作请参见 支持同步的SQL操作。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...
前提条件 数据库的版本为：SQL Server 2019、2017、2016、2014、2012、2008R2、2005、2000。说明 仅支持本地自建数据库和云服务器上的自建数据库，不支持云数据库。已添加备份网关，具体操作，请参见 添加备份网关。说明 更多备份方式的...
支持审计的数据库类型 数据库分类 数据库 版本 阿里云原生数据库 RDS MySQL 5.5、5.6、5.7、8.0 PolarDB MySQL引擎 所有版本 PolarDB PostgreSQL引擎 所有版本 PolarDB O引擎 所有版本 PolarDB-X（原DRDS）所有版本 RDS SQL Server 2008 R2...
Table（表）Schema（schema）JobSettings Object 否 同步任务维度的设置，含DDL处理策略、源端和目标端列数据类型映射策略、任务运行时参数等。DdlHandlingSettings Array 否 DDL处理设置，支持多值。Type String 否 AddColumn DDL类型，可...
智能诊断数据倾斜功能在系统后台以库为维度进行诊断，但不包括系统库（postgres、template0、template1、adbpgadmin和aurora 5个系统库），建议您将业务数据放在新建库中，不要将数据放在上述5个系统库中，否则无法诊断数据。智能诊断数据...
Table 动作作用的目标类型，可选的枚举值：Table（表）Schema（schema）JobSettings Object 否 同步任务维度的设置，含DDL处理策略、源端和目标端列数据类型映射策略、任务运行时参数等。DdlHandlingSettings Array 否 DDL处理设置。Type ...
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID，配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
取值如下：INSERT：数据插入 UPDATE_BEFOR：数据更新前 UPDATE_AFTER：数据更新后 DELETE：数据删除 TRANSACTION_BEGIN：数据库事务开始 TRANSACTION_END：数据库事务结束 CREATE：数据库建表 ALTER：数据库表变更 QUERY：数据库变更的原始...
例如查询c3列中包含功能介绍、功能或者介绍的数据。SELECT*FROM dt WHERE c3='功能介绍';聚合分析。支持COUNT、SUM、MIN、MAX、AVG等聚合函数。排序分页。支持任意索引列的排序（ORDER BY语句）。架构介绍 SearchIndex是宽表引擎和搜索引擎...
更多操作 更新或删除数据源信息 在 数据源管理 页签，单击目标数据源 操作 列中 编辑 或 删除，进行更新或删除数据源信息。管理迁移计划 在 迁移计划管理 页签，您可以进行以下操作：停止迁移计划：单击目标迁移计划 操作 列中的 停止。...
第一种方式：从OSS数据文件中获取列类型（推荐），如下所示：CREATE FOREIGN TABLE `test` FROM CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/test.orc' COMMENT='columnar=1';您可以使用 SHOW create table ...
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
MariaDB数据源为您提供读取和写入MariaDB的双向通道，本文为您介绍DataWorks的MariaDB数据同步能力支持情况。支持的MariaDB版本 离线读写 支持MariaDB 5.5.x、MariaDB 10.0.x、MariaDB 10.1.x、MariaDB 10.2.x、MariaDB 10.3.x版本，且离线...
设置后，在Map中读取到的Record就只有c1，c2列，如果之前是使用列名获取Record数据，不会有影响，而用下标获取的需要注意这个变化。避免资源重复读取 资源的读取尽量放置到Setup阶段读取，避免资源多次读取的性能损失，另外系统也有64次...
把备份上传到您的OSS RDS备份存放于备份空间，不占用存储空间，如需在您的OSS上存放备份，您可以选择以下其中一种方式：符合条件的云盘实例可参见本文创建高级下载任务并在任务配置过程中，选择直接将下载的数据写入您的OSS中；其余云盘...
在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM）>数据库评估。在 数据库采集 页签下，单击 在线数据库采集。单击 创建采集任务，开始创建采集任务。登录源数据库配置采集账号，赋予相应的权限。Oracle 10g/11g/12c版本（非...
气泡图是散点图的一种，与散点图相比，气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。本文介绍气泡图各配置项的含义。配置 重要 本文介绍v4.x版本的气泡图的配置项，如需查看5.0及以上...
本文介绍全密态数据库在不同场景中对系统性能的影响，有助于您评估和选择加密方案。测试环境 配置项 ECS实例（测试客户端部署在ECS实例上）RDS PostgreSQL实例 说明 地域及可用区 华东2（上海）可用区L 华东2（上海）可用区L 本测试在同一...
您可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤...
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
您可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤...
若您需要访问同阿里云账号下其他 AnalyticDB PostgreSQL版 实例数据，可以使用同构数据源访问功能，将不同实例以外部数据源的形式轻松快速地实现联合查询，在保证数据实时性的同时，有效减少数据冗余。说明 本地实例：创建连接、使用数据的...
添加访问地址 租户规格下限变更 集群实例中的租户规格下限调整，V3.x 以上版本的租户最小规格从原有 2C5G 变更为 1C4G，同样的集群规模可以创建更多的租户数量，可降低用户使用成本。新建租户 备份恢复能力增强 支持按照备份集进行恢复，...
全密态数据库可以用于多方数据融合计算，支持数据所有者授权第三方使用数据参与计算，实现联合营销等多种场景。场景介绍 以某数据平台公司业务场景为例，该平台通过合法渠道，经用户授权后，收集了用户信息，生成用户画像表（portrait），...
全密态数据库可以用于多方数据融合计算，支持数据所有者授权第三方使用数据参与计算，实现联合营销等多种场景。场景介绍 以某数据平台公司业务场景为例，该平台通过合法渠道，经用户授权后，收集了用户信息，生成用户画像表（portrait），...
场景：PolarDB-X 1.0 数据库多链路无主键表汇聚至同一目标端表，避免前面若干条链路有部分数据后，另一条链路刚启动便清空了历史的迁移数据。true AllowDestTableNotEmpty boolean 否 目标端表对象存在记录时处理策略，包括 忽略 和 停止...
方法一：从5.4.16版本开始，内核提供了 create database like/as 语法，可以一键将DRDS模式数据库切换为AUTO模式，使用方法请参见 将DRDS模式数据库转换为AUTO模式数据库；方法二：在目标实例创建对应的AUTO模式数据库，在AUTO模式数据库下...
0.8.0 0.8.1 0.9.0 0.10.0 0.11.0 0.12.0 0.13.0 0.13.1 0.14.0 1.0.0 1.0.1 1.1.0 1.1.1 1.2.0 1.2.1 1.2.2 2.0.0 2.0.1 2.1.0 2.1.1 2.2.0 2.3.0 2.3.1 2.3.2 2.3.3 2.3.4 2.3.5 2.3.6 2.3.7 3.0.0 3.1.0 3.1.1 3.1.2 0.8.1-cdh4.0.0 0.8...
安全规则是通过一组领域专用语言DSL（Domain Specific Language）对数据库实现精细化管控的规则集合，您在使用DMS的查询、导出、变更等功能时，可以通过安全规则管控这些功能行为，从而在平台内制定和打造数据库的操作规范和研发流程。...
自定义时间列不能作为主键第一列。自定义时间列必须为BIGINT类型，格式为Unix时间戳，单位为毫秒（ms）。如果指定列不存在、数据没有写入或写入的数据类型不正确，数据则无法冷热分离，将被全部写入热存储。操作步骤 设置表的冷热分界线 ...