BDS - HBase数据迁移同步方案的设计与实践

侧田 2019-06-10

监控 hbase 日志 线程 配置 集群 数据迁移 同步 数据同步 replication 异构数据

HBase用户福利

新用户9.9元即可使用6个月云数据库HBase,更有低至1元包年的入门规格供广大HBase爱好者学习研究,更多内容请参考链接

概览

BDS针对开源HBase目前存在的同步迁移痛点,自主研发的一套数据迁移的平台。有关于BDS的基本介绍,可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上,BDS是如何进行HBase集群之间的数据迁移和数据的实时同步的。

架构

1559705835293_e80a7351_14bb_4338_92a2_f58234657b70

  • BDS采用分布式的架构,由BDSMaster节点生成、调度任务给各个BDSWorker节点
  • BDSWorker节点负责具体的任务执行,是无状态的,方便扩容、升级
  • Reader 和 Writer 插件化,支持跨版本,异构数据源的迁移和实时数据同步

历史数据迁移方案

对于历史存量数据的迁移,我们是通过拷贝文件的方式,将数据文件拷贝到目标集群,然后统一对文件

登录 后评论
下一篇
阿里巴巴云原生小助手
4425人浏览
2020-02-11
相关推荐
RDS数据订阅服务使用说明
1105人浏览
2019-03-08 15:38:08
好文章列表(持续)
3011人浏览
2015-12-20 11:50:00
快的打车架构实践
1867人浏览
2016-03-31 10:56:00
1
3
0
2562