如何在E-MapReduce上进行Kafka集群间数据复制

鱼跟猫 2019-03-20

大数据 实时系统 配置 集群 消息中间件 request 数据迁移 e-mapreduce Consumer 数据同步 test Create zookeeper kafka 流式

1. 问题背景

我们在使用Kafka的时候,有时候会遇到以下几种场景:

  • 原有Kafka集群机型配置过旧,需要升级换代,重新规划一个Kafka集群,将老集群的数据迁移到新集群上
  • 数据上云,云下Kafka集群数据迁移到云上Kafka集群/Kafka服务
  • 多个Kafka集群数据汇总到一个Kafka集群
  • 基于业务Kafka集群,构建一个Kafka灾备集群

总结一下,以上场景可以抽象成两类:

  • 数据迁移
  • 数据灾备

Kafka社区提供了一个工具,即MirrorMaker,它可以满足用户的数据迁移需求,同时一定程度的满足数据灾备需求。当然除了原生MirrorMaker工具,也存在着各种衍生版本的数据同步工具。下面就简单介绍一下社区版的MirrorMaker工具。

2. MirrorMaker工具介绍

image

MirrorMaker工具不过是将Kafka Consumer和Pr

登录 后评论
下一篇
我是小助手
32501人浏览
2019-07-31
相关推荐
E-MapReduce Kafka Benchmark - I
2277人浏览
2018-03-01 18:07:38
阿里云 EMR最佳实践和容灾
1567人浏览
2018-05-15 11:06:37
通过Spark SQL实时归档SLS数据
1245人浏览
2019-06-17 11:28:02
通过Spark SQL实时归档SLS数据
824人浏览
2019-06-17 15:37:00
1
0
1
861