BDS - HBase数据迁移同步方案的设计与实践

侧田 2019-06-10

监控 hbase 日志 线程 配置 集群 数据迁移 同步 数据同步 replication 异构数据

概览

BDS针对开源HBase目前存在的同步迁移痛点,自主研发的一套数据迁移的平台。有关于BDS的基本介绍,可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上,BDS是如何进行HBase集群之间的数据迁移和数据的实时同步的。

架构

1559705835293_e80a7351_14bb_4338_92a2_f58234657b70

  • BDS采用分布式的架构,由BDSMaster节点生成、调度任务给各个BDSWorker节点
  • BDSWorker节点负责具体的任务执行,是无状态的,方便扩容、升级
  • Reader 和 Writer 插件化,支持跨版本,异构数据源的迁移和实时数据同步

历史数据迁移方案

对于历史存量数据的迁移,我们是通过拷贝文件的方式,将数据文件拷贝到目标集群,然后统一对文件进行Bulkload,将数据装载到目标表中
1559720655989_e5a94510_e88d_42c3_9718_814bc391e478

迁移流程:
  1. 客户提交历史数据迁移的任务
  2. BDSMaster获取原表的Region分区情况,针对每一个Re
登录 后评论
下一篇
冒顿单于
7249人浏览
2019-08-28
相关推荐
快的打车架构实践
1565人浏览
2016-03-31 10:56:00
好文章列表(持续)
2162人浏览
2015-12-20 11:50:00
RDS数据订阅服务使用说明
731人浏览
2019-03-08 15:38:08
1
2
0
1419