好程序员大数据学习路线Hadoop学习干货分享

好程序员 2019-08-27

分布式 大数据 hdfs hadoop 程序员 模块 数据处理 高可用 集群 主机 容器 分布式计算 单点故障 分布式文件系统

  好程序员大数据学习路线Hadoop学习干货分享,Apache Hadoop 为可靠的,可扩展的分布式计算开发开源软件。

Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集(海量的数据)。

包括这些模块:

  • Hadoop Common:支持其他Hadoop模块的常用工具。
  • Hadoop分布式文件系统(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。
  • Hadoop YARN:作业调度和集群资源管理的框架。
  • Hadoop MapReduce:一种用于并行处理大型数据集的基于YARN的系统。

上述每个模块有自己独立的功能,而模块之间又有相互的关联。

广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈

可靠,可扩展的分布式计算的开源软件,由HDFS、MapReduce、YARN组成。

HDFS

Hadoop分布式文件系统,一般由一到两个Namenode进程和若干Datanode进程组成,在实现了HA机制的HDFS中,还有ZKFC进程(一般跟NameNode进程运行在同一台计算机上)和多个JN进程。

节点

运行Namenode或Datanode进程的机器称之为节点,对应的运行Namenode进程的机器称之为Namenode节点,运行Datanode进程的机器称之为Datanode节点,这里的机器可以是物理机也可以是虚拟机。

Mapreduce

分布式并行离线计算框架,是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架,Mapreduce核心功能是将用户编写的业务逻辑代码和MR自带默认组件整合成一个完整的分布式运算程序,并发的运行在一个hadoop集群上;与HDFS解决问题的原理类似,HDFS是将大的文件切分成若干小文件,然后将它们分别存储到集群中各个主机中。同样原理,mapreduce是将一个复杂的运算切分成若个子运算,然后将它们分别交给集群中各个主机,由各个主机并行运算。

名词解释

  • Job :用户的每一个计算请求称为一个作业。
  • Task:每一个作业,都需要拆分开了,交由多个主机来完成,拆分出来的执行单位就是任务。Task又分为如下三种类型的任务:

    • Map:负责map阶段的整个数据处理流程
    • Reduce:负责reduce阶段的整个数据处理流程
    • MRAppMaster:负责整个程序的过程调度及状态协调

YARN

Yet Another Resource Negotiator(好吧,另一种资源协调者),作业调度和集群资源管理的框架,由ResourceManager和NodeManager组成,ResourceManager有两个主要组件:Scheduler和ApplicationsManager。

Scheduler

调度程序负责根据熟悉的容量,队列等约束将资源分配给各种正在运行的应用程序。调度程序是纯调度程序,因为它不执行应用程序状态的监视或跟踪。此外,由于应用程序故障或硬件故障,它无法保证重启失败的任务。调度程序根据应用程序的资源需求执行其调度功能; 它是基于资源Container的抽象概念,它包含内存,cpu,磁盘,网络等元素。

ApplicationsManager

负责接受作业提交,协商第一个容器以执行特定于应用程序的ApplicationMaster,并提供在失败时重新启动ApplicationMaster容器的服务。每个应用程序ApplicationMaster负责从Scheduler协商适当的资源容器,跟踪其状态并监视进度。

Zookeeper

分布式应用程序的分布式协调服务,由多个QuorumPeerMain进程组成,本质上这些进程功能类似,但是在zookeeper运行过程中,会由其中的一个进程充当leader角色,剩余进程充当follower角色。

znode

zookeeper内部维护的处于内存中的树状数据结构中的一个组成部分,即树状数据结构中的节点,具有权限、类型、版本等相关元信息,和子节点、父节点、自身内容等其他相关信息。zookeeper负责监控节点的变化状态,包括节点的新增、删除、内容变更、子节点变更,但是zookeeper不负责某个节点发生变化之后的动作,变化之后zookeeper可以告知这个节点的Watcher,然后由这个watcher负责处理。

HA

所谓HA,即高可用(7*24小时不中断服务)(secondarynamenode只是保证了“可靠性”)实现高可用最关键的是消除单点故障,hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。

  • HDFS的HA机制详解:通过双namenode消除单点故障,双namenode协调工作的要点:

    • 元数据管理方式需要改变
    • 需要一个状态管理功能模块
登录 后评论
下一篇
corcosa
13793人浏览
2019-10-08
相关推荐
java转大数据的学习路线
1207人浏览
2019-03-22 19:31:46
大数据最佳学习路线
577人浏览
2019-04-14 13:00:22
机器学习路线图
1549人浏览
2016-03-10 18:51:27
0
0
0
283