设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库增量日志的过期时间或归档时间。适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步任务前，已确保源端...
用户可以无缝的使用原本基于 MySQL 的增量数据订阅方案，切换到云数据库 OceanBase 上来。性能限制 Binlog 的转换服务的性能受资源配置和 Clog 解析能力的限制。目前，Binlog 支持的 Clog 日志解析最大性能为 25MB/s。Binlog 每秒转换率...
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE 数据库名 CONNECTION LIMIT 并发量;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 云原生多模数据库Lindorm 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云原生多模数据库Lindorm Doris 1.2及以上版本 库表结构同步 全量数据...
增量数据迁移 RDS MySQL迁移至Tair/Redis Tablestore 库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至Tablestore 云数据库SelectDB版 库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至云数据库SelectDB版 云原生多模数据...
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 云原生多模数据库Lindorm 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云原生多模数据库Lindorm Doris 1.2及以上版本 库表结构同步 全量数据同步 增量数据...
如果您未绑定 Kafka 数据源，创建 HBase 数据库至 OceanBase 数据库 MySQL 租户的数据迁移任务时，迁移类型不支持选择 增量同步。增量数据格式：目前仅支持 DEBEZIUM_V2。Kafka 数据源：您可以选择保存在数据传输中的 Kafka 数据源，详情请...
然后通过RDS控制台将差异备份或日志备份文件导入该RDS SQL Server数据库中，以实现增量备份上云的效果。该方案能够将业务中断时间控制在分钟级别，从而有效缩短业务中断时间。适用场景 RDS SQL Server增量数据上云适用于以下场景：基于备份...
本文将介绍如何使用 PyMySQL 库和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、查询数据和删除表等。点击下载 python-pymysql 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase ...
name 为 步骤二：新建并注册函数 中的函数名称，para_list 为 附录：模式选择 中的参数列表，custom_para_list 为自定义参数列表，stream_table_name为增量表的名称，primary_keys 为 表格存储 数据表的主键列表，SequenceID 为增量表的...
监控 您可以通过智能召回引擎的监控链接进入云监控，也可以直接在云监控的云产品表单中搜索智能召回引擎BE进入云监控页面。实例相关监控 实例qps：实例查询总qps...表实时内存：detail表增量数据使用的内存。内存过大会导致增量数据消费延迟。
DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、public.dts_pg_attribute、public...
本文为您介绍Spark如何读取Hologres表数据。Hologres表全量数据 Spark读取Hologres表全量数据通过JDBC接口，JDBC的Driver需要使用PostgreSQL驱动，请至 官网 下载PostgreSQL JDBC Driver，需要使用42.2.25以上版本的JDBC驱动，详情请参见 ...
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
如果迁移的源数据库类型为PostgreSQL，如自建PostgreSQL、RDS PostgreSQL，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为PostgreSQL的迁移方案概览 根据迁移方案，查看迁移任务的注意...
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、public.dts_pg_attribute、public...
DTS会在源库中创建以下临时表，用于获取增量数据的DDL（不会将该DDL写入到目标库）、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、...
DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、public.dts_pg_attribute、public...
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、public.dts_pg_attribute、public...
DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、public.dts_pg_attribute、public...
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以 RDS MySQL 实例为源数据库介绍配置...
DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、public.dts_pg_attribute、public...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在迁移期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。public.dts_pg_class、public.dts_pg_attribute、public...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的...
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的...
根据待同步对象所属的数据库和Schema信息，在目标 RDS PostgreSQL 中创建相应数据库和Schema（Schema名称须一致），详情请参见 创建数据库 和 Schema管理。若自建PostgreSQL版本为9.4.8~10.0，则您还需执行如下准备工作。下载PostgreSQL...
单个数据同步任务只能同步一个数据库，如需同步多个数据库，您需要为每个数据库配置数据同步任务。同步期间，如果同步对象的选择粒度为Schema，在待同步的Schema中创建了新的表或使用RENAME命令重建了待同步的表，您需要在对该表写入数据前...
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似...
其他限制：类型 说明 其他限制 单个数据同步任务只能同步一个数据库，如需同步多个数据库，一键迁移会为每个数据库配置数据同步任务。同步期间，如果同步对象的选择粒度为Schema，在待同步的Schema中创建了新的表或使用 RENAME 命令重建了...
权限要求 创建物化视图需要有数据库或表级别的CREATE权限。刷新物化视图需要有数据库或表级别的INSERT权限。需要有物化视图所涉及的所有表的相关列（或整个表）的SELECT权限。如果在创建物化视图时指定物化视图为自动刷新模式，需要具备...
CREATE DATABASE db 使用源集群的 CREATE TABLE 语句，在目标数据库上创建表。CREATE TABLE db.table.在目标集群上创建表，使用来自源集群的 SELECT CREATE_TABLE_QUERY.的输出。允许源集群上的远程操作。为了从源集群到目的集群地读取数据...