BDS-HBase集群之间数据迁移同步的利器

侧田 2019-06-10

架构 实时系统 RDS hbase 高可用 集群 数据迁移 数据分析 同步 数据同步 容灾 异构数据 异地

BDS定位

BDS针对开源HBase目前存在的同步迁移痛点,自主研发的一套数据迁移的平台,用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMR HBase、Apsara HBase的数据导入导出,从而方便云上客户围绕HBase构建高可用、灵活的业务系统

使用场景

BDS在云上目前主要有以下几个使用场景

  • 新旧集群无缝迁移
  • 在线离线业务分离
  • 主备容灾
  • RDS实时数据同步到HBase、Phoenix

新旧集群无缝迁移

使用范围
  • HBase大版本升级, 1.x 升级 2.x
  • 集群配置升级
  • 集群网络的切换,经典切换VPC
  • 异地跨机房迁移
  • 业务拆分
业务流程

1559788573739_2a2b8d4b_8015_4f2a_a122_05eb8ffa63a0

在线离线业务分离

业务架构

1559788694489_57b33992_ce29_4277_a90b_0f121dee2630

通过BDS,将在线业务数据实时同步到离线集群,结合Spark、MR等大数据组件进

登录 后评论
下一篇
冒顿单于
6562人浏览
2019-08-28
相关推荐
DII—算法服务利器
6618人浏览
2016-01-15 18:16:12
好文章列表(持续)
2137人浏览
2015-12-20 11:50:00
助力企业发展的大数据利器
1019人浏览
2017-07-21 15:23:24
网站架构技术
513人浏览
2016-06-27 19:34:26
Redis运维利器 -- RedisManager
3598人浏览
2018-12-10 17:35:03
0
1
0
1039