场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成,并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
DTS 将源库中待同步表的存量数据,全部同步至 MaxCompute 中的目标表名_base表中(例如从源库的 user表同步至 MaxCompute的 user_base表),作为 后续增量同步数据的基线数据。3.增量数据同步。DTS在 MaxCompute中创建一个增量日志表,表名为同步的目标表名_log,例如 user_log,然后将源库产生的增量数据实时同步到该表中...