DRDS到MaxCompute(原ODPS)数据归档性能优化测试

化雨u 2018-04-02

数据存储与数据库 测试技术 性能优化 DRDS odps 测试 Image 同步 数据同步 插件 数据管理 工作流 MaxCompute

一、cdp同步基本原理
数据集成(Data Integration)是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点,可为 20 多种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。数据源类型的详情请参见 支持数据源类型。
数据集成的原理:
数据集成在阿里云上提供一套分布式离线数据同步平台,同时提供一套抽象化的数据抽取插件(称之为Reader)、数据写入插件(称之为Writer),并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输之目的。从用户角度来看,一个数据集成同步任务运行Job示意图如下所示:
image

上述中,红色虚箭头是代表通过collector状态收集器监控数据返回到脏数据管理服务器进行数据分析,灰色方向箭头代表数据流向。DI Se

登录 后评论
下一篇
云栖号资讯小编
1054人浏览
2020-03-31
相关推荐
车联网上云最佳实践(三)
3749人浏览
2018-08-23 14:23:22
MaxCompute文章索引
8548人浏览
2016-10-19 10:30:14
用脚本模式配置数据同步
2899人浏览
2017-04-18 22:03:04
一文快速了解MaxCompute
4751人浏览
2019-03-04 02:48:55
0
0
0
1594