通过Kafka Connect进行数据迁移

开源大数据EMR 2020-01-02

数据库 配置 安全组 集群 Image 数据迁移 开源大数据 e-mapreduce 数据同步 curl

在流式数据处理过程中,E-MapReduce经常需要在Kafka与其他系统间进行数据同步或者在Kafka集群间进行数据迁移。本节向您介绍如何在E-MapReduce上通过Kafka Connect快速的实现Kafka集群间的数据同步或者数据迁移。

前提条件

  • 已注册云账号,详情请参见注册云账号
  • 已开通E-MapReduce服务。
  • 已完成云账号的授权,详情请参见角色授权

背景信息

Kafka Connect是一种可扩展的、可靠的,用于在Kafka和其他系统之间快速的进行流式数据传输的工具。例如,Kafka Connect可以获取数据库的binlog数据,将数据库数据同步至Kafka集群,从而达到迁移数据库数据的目的。由于Kafka集群可对接流式处理系统,所以还可以间接实现数据库对接下游流式处理系统的目的。同时,Kafka Connect还提供


登录 后评论
下一篇
云栖号资讯小编
1874人浏览
2020-03-31
相关推荐
实战Kafka ACL机制
967人浏览
2018-06-17 03:08:00
《KAFKA官方文档》5.2 APIs
1356人浏览
2017-05-18 17:04:00
Kafka(Quickstart)
1209人浏览
2017-11-09 21:29:34
kafka 安装和启动
803人浏览
2017-11-15 13:31:00
kafka安装和启动(转载)
533人浏览
2017-09-01 00:05:00
0
0
0
6801