基于Spark Streaming 进行 MySQL Binlog 日志准实时传输

开源大数据EMR 2019-03-11

mysql hadoop 日志 SLS Apache 配置 集群 spark aliyun EMR binlog

基本架构

RDS -> SLS -> Spark Streaming -> Spark HDFS

上述链路主要包含3个过程:

  1. 如何把 RDS 的 binlog 收集到 SLS。
  2. 如何通过 Spark Streaming 将 SLS 中的日志读取出来,进行分析。
  3. 如何把链路 2 中读取和处理过的日志,保存到 Spark HDFS中。

环境准备

  1. 安装一个 MySQL 类型的数据库(使用 MySQL 协议,例如 RDS、DRDS 等),开启 log-bin 功能,且配置 binlog 类型为 ROW 模式(RDS默认开启)。
  2. 开通 SLS 服务。

操作步骤

  1. 检查 MySQL 数据库环境。

    1. 查看是否开启 log-bin 功能。
    mysql> show variables like "log_bin";
    +---------------+-
登录 后评论
下一篇
我是你爱豆
18305人浏览
2019-08-22
相关推荐
架构大数据分析应用
461人浏览
2016-05-18 21:19:50
谈谈互联网后端基础设施
4492人浏览
2016-12-09 11:17:35
谈谈互联网后端基础设施
1216人浏览
2018-02-09 15:00:00
0
1
0
8443