当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
以下Spark SQL语句可以实现将mysql_db在线库的交易流水表sales与oracle_db库的用户表users进行关联，并将关联后的数据按部门名称分组，统计交易笔数和金额，加工后的数据写入到mysql_db在线库中。INSERT INTO mysql_db.dept_sales SELECT ...
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
以上查询将数据库 NOAA_water_database 的保留策略 autogen 中的所有数据写入到数据库 copy_NOAA_water_database 的保留策略 autogen 中。反向引用语法（:MEASUREMENT）将源数据库中measurement的名字维持在目标数据库中不变。请注意，在...
本文介绍华为云云数据库RDS MySQL迁移到阿里云云数据库RDS MySQL的注意事项及操作步骤。前提条件 源端及目标端 要求 相关参考 源端 华为云云数据库RDS MySQL实例 已开通公网访问，并获取外网连接地址及端口。已创建高权限账号。华为云云...
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在Db2数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 迁移对象选择的粒度可以为库、表、列三个粒度。...
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据库比业务数据库大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的单向同步、RDS SQL Server间的同步、云数据库...
恢复目标数据库 数据库所在位置 本例中将备份集恢复至提前新建的 RDS实例 实例中，请确保目标数据库服务正在运行中，同时还支持恢复至如下数据库实例所在位置：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入...
先将数据写入本地缓存，当文件触发刷新和关闭操作时，会统一将数据上传至OSS Bucket。如果本地缓存空间不足，会提前上传分片数据并清理缓存。在这种情况下，写入速度会受到OSS上传速度的制约。如果本地有缓存，性能则取决于磁盘性能。如果...
为避免此种情况发生，迁移任务完成后，您可手动将恢复模式设置为 Simple，命令如下：ALTER DATABASE 数据库名 SET RECOVERY Simple;操作步骤 在 配置源库及目标库信息 页面，单击 新建物理协议网关 按钮。在弹出的 部署命令 对话框中，选择...
说明 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP地址...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
说明 为保证数据一致性，建议迁移期间不要往源数据库中写入新的数据。如需实现不停机迁移，您需要在配置数据迁移任务时，同时选择结构迁移、全量数据迁移和增量数据迁移。增量数据迁移 在增量数据迁移阶段，DTS会将源库产生的增量数据实时...
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在Db2数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 迁移对象选择的粒度可以为库、表、列三个粒度。...
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标集群。说明 如果您未创建...
为避免此种情况发生，迁移任务完成后，您可手动将恢复模式设置为 Simple，命令如下：ALTER DATABASE 数据库名 SET RECOVERY Simple;操作步骤 在 配置源库及目标库信息 页面，单击 新建物理协议网关 按钮。在弹出的 部署命令 对话框中，选择...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
db 否 数据写入的数据库名。schema_policy 否 Schema约束策略。默认值为WEAK，WEAK模式下会自动创建时序表。支持的取值为：WEAK：弱约束策略。STRONG：强约束策略。NONE：无约束策略。详情请参见 支持的Schema约束策略。用户认证信息指定 ...
库名 指定数据库实例上某个具体数据库（需要在产品内有数据库的操作权限，输入库名前缀后可出现联想提示）。表名 在指定的目标表中进行检索，支持添加多张表（需要输入表名前缀后可出现联想提示）。配置算法 您在选择 表名 后，才会出现此...
前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 RDS MySQL 实例。创建方法，请参见 快速创建RDS MySQL实例。说明 支持的版本，请参见 迁移方案概览。如需执行增量迁移，您需要开启 Db2 for LUW 数据库的归档日志。更...
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
建议在执行数据迁移前了解源库为Oracle时DTS支持的能力和限制条件，并使用ADAM（Advanced Database&Application Migration）进行数据库评估，以便您平滑地迁移上云。更多信息，请参见 Oracle数据库的限制和准备工作 和 数据库评估概览。源...
前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 PolarDB MySQL版 集群。创建方法，请参见 购买企业版集群 和 购买包年包月集群。说明 支持的版本，请参见 迁移方案概览。如需执行增量迁移，您需要开启 Db2 for LUW ...
需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的...
高性能缓存模式 提供了对标RDS+Canal+Redis架构的数据库-缓存能力，支持社区Redis协议，提供了Redis缓存访问数据库的数据，缓存会定期过期失效。提供最终一致性缓存能力。缓存性能：提供了与Redis性能相当的缓存能力。适合场景：对于热点...
源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）...
数据库名称 填入源 Db2 for LUW 中迁移对象所属数据库的名称。数据库账号 填入 Db2 for LUW 的数据库账号，权限要求请参见 创建账号并授予权限。数据库密码 填入该数据库账号对应的密码。目标库信息 选择已有的DMS数据库实例 您可以按实际...
数据写入的时候，需要设置参数 db 的值，该值必须是一个已有的数据库。如果您没有通过参数 rp 来设置数据保留策略的话，那么数据会写到 db 默认的数据保留策略中。想要获得完整的参数信息，请参阅文档 HTTP API 。我们称POST的主体内容，...
前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 云原生数据仓库AnalyticDB PostgreSQL版 实例。创建方法，请参见 创建实例。说明 支持的版本，请参见 迁移方案概览。目标 云原生数据仓库AnalyticDB PostgreSQL版 ...
阿里云RDS PostgreSQL云数据库结合了PostgreSQL数据库的强大功能和阿里云基础设施的灵活性和便利性，为用户提供了高性能、弹性伸缩、便捷管理和稳固安全的云数据库服务。本文将介绍如何通过阿里云DTS服务将自建的PostgreSQL 9.X实例迁移到...