分布式日志收集框架 Flume

javaedge 2019-06-13

云栖社区 分布式 日志 数据流 配置 agent Image source type

0 Github

1 需求分析


WebServer/ApplicationServer分散在各个机器上,然而我们依旧想在Hadoop平台上进行统计分析,如何将日志收集到Hadoop平台呢?

  • 简单的这样吗?
shell cp hadoop集群的机器上;
hadoop fs -put ... /

显然该法面临着容错、负载均衡、高延迟、数据压缩等一系列问题
这显然已经无法满足需求了!

不如问问神奇的Flume呢???

只需要配置文件,轻松解决以上问题!

2 Flume概述

2.1 官网

  • Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。
  • 它具有基于流式数据流的简单灵活的架构。
  • 它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性。
  • 它使用简单的可扩展数据模型,允许在线分析应用程序。

2.2 设计目标

  • 可靠性
    当节点出现故障时,
登录 后评论
下一篇
corcosa
17067人浏览
2019-10-08
相关推荐
启明星-数据收集框架
1726人浏览
2016-12-27 23:40:17
Hadoop生态系统
754人浏览
2018-01-06 21:13:30
hadoop 之Hadoop生态系统
634人浏览
2017-11-12 02:02:00
Flume 是什么?
483人浏览
2017-11-13 13:24:00
HADOOP生态圈知识概述
834人浏览
2017-11-15 14:28:00
0
0
0
775