备案控制台
探索云世界
开发者社区 大数据 文章 正文

Hadoop2.6(NN/RM)高可用集群安装与部署

2016-05-06 3411
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介：

 Hadoop2对HDFS的改进很大，支持HDFS(NameNode) 和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署及使用。

一、部署前准备

操作系统：CentOS7_x64

安装目录：/opt

1. 节点分配

HostName IP Hadoop HBase Zookeeper Hive
HMaster0 192.168.18.215 NameNode HMaster / Hive
HMaster1 192.168.18.216 NameNode HMaster / Hive-client
HSlave0 192.168.18.217 DataNode HRegionServer QuorumPeerMain /
HSlave1 192.168.18.218 DataNode HRegionServer QuorumPeerMain /
HSlave2 192.168.18.219 DataNode HRegionServer QuorumPeerMain /

2. 版本及功能

软件名
 版本号 功能
Hadoop hadoop-2.6.0.tar.gz 为海量数据提供分布式存储（HDFS）和分布式计算(YARN)。
HBase hbase-1.0.1.1-src.tar.gz 基于Hadoop的分布式、面向列的NoSQL数据库，适用于非结构化数据存储的数据库。
Zookeeper zookeeper-3.4.6.tar.gz 一个分布式应用程序协调服务，为应用提供一致性服务，是Hadoop和Hbase的重要组件。
Hive apache-hive-1.2.0-bin.tar.gz 基于Hadoop的一个数据仓库工具，将结构化的数据文件映射成一张表，并提供简单的SQL查询功能，将SQL语句转换为MapReduce任务运行处理。
Phoenix
 phoenix-4.4.0-HBase-1.0-bin.tar.gz Hbase的SQL驱动，Phoenix让Hbase支持以JDBC方式访问，并将SQL查询转换成Hbase的扫描和相应的操作。
JDK jdk-7u79-linux-x64.gz JAVA运行环境
Hadoop生态系统下载地址：http://www.apache.org/dist/
JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

3. 逻辑结构图

wKiom1WKdhDSyisYAAMGPx45Qys169.jpg

NameNode(NN) HA实现方式：

  一种是将NN维护的元数据保存一份到NFS上，当NN故障，可以通过另一台NNe读取NFS目录中的元数据备份进行恢复工作，需要手动进行操作，并不是真正意义上的HA方案。

  另一种是准备一台备用NN节点，通过定期下载NN的元数据和日志文件来备份，当NN故障时，可以通过这台进行恢复，由于主备节点元数据和日志并不是实时同步，所以会丢失一些数据。

  前两种方案都不是很理想，社区提供一种更好的方案，基于QJM（Qurom Journal Manager）的共享日志方案。QJM的基本原理是NN（Active）把日志写本地和2N+1（奇数）台JournalNode上，当数据操作返回成功时才写入日志，这个日志叫做editlog，而元数据存在fsimage文件中，NN（Standby）定期从JournalNode上读取editlog到本地。在这手动切换的基础上有开发了基于Zookeeper的ZKFC（ZookeeperFailover Controller）自动切换机制，Active和Standby节点各有ZKFC进程监控NN监控状况，定期发送心跳，当Active节点故障时Standby会自动切换为ActiveNode，我们这次就用的此方案，如下图所示。

wKioL1V6meKwAMxFAAFOKORH5AM212.jpg

ResourceManager(RM) HA实现方式：

  RM将状态信息存储在Zookeeper中，当Active故障，Standby切换为Active后，从ZK读取相应的作业信息，重新构建作业的内存信息，然后开始接受NodeManager心跳，并接受客户端提交作业的请求等。

二、搭建高可用Hadoop集群

1.基础环境配置

 1.1 安装JDK（每台配置）

1
2
3
4
5
6
7
8
  # tar zxvf jdk-7u79-linux-x64.gz
  # mv jdk1.7.0_79 /usr/local/jdk1.7
  # vi /etc/profile
  JAVA_HOME= /usr/local/jdk1 .7
  PATH=$PATH:$JAVA_HOME /bin
  CLASSPATH=$JAVA_HOME /lib :$JAVA_HOME /jre/lib
  export  JAVA_HOME PATH CLASSPATH
  # source /etc/profile   #使配置生效

 1.2 修改主机名，并添加hosts文件（每台配置）

1
2
3
  # hostname HMaster0
  # vi /etc/hostname
  HMaster0
1
2
3
4
5
6
7
8
  # cat /etc/hosts
  127.0.0.1   localhost localhost.localdomain localhost4localhost4.localdomain4
  ::1         localhost localhost.localdomainlocalhost6 localhost6.localdomain6
  192.168.18.215  HMaster0
  192.168.18.216  HMaster1
  192.168.18.217  HSlave0
  192.168.18.218  HSlave1
  192.168.18.219  HSlave2

 1.3 配置SSH无密码登陆（在HMaster1做同样的操作）

1
2
3
4
5
6
7
8
9
10
11
12
  # ssh-kegen    #一直回车创建秘钥对
  [root@HMaster0] # cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
  [root@HMaster0] # scp /root/.ssh/authorized_keys root@HMaster0:/root/.ssh
  [root@HMaster0] # scp /root/.ssh/authorized_keys root@HMaster1:/root/.ssh
  [root@HMaster0] # scp /root/.ssh/authorized_keys root@HSlave0:/root/.ssh
  [root@HMaster0] # scp /root/.ssh/authorized_keys root@HSlave1:/root/.ssh
  [root@HMaster0] # scp /root/.ssh/authorized_keys root@HSlave2:/root/.ssh
  [root@HMaster0] # ssh root@HMaster0 'chmod 600 /root/.ssh/authorized_keys && chmod 700 /root/.ssh' 
  [root@HMaster0] # ssh root@HMaster1 'chmod 600 /root/.ssh/authorized_keys && chmod 700 /root/.ssh' 
  [root@HMaster0] # ssh root@HSlave0 'chmod 600 /root/.ssh/authorized_keys && chmod 700 /root/.ssh' 
  [root@HMaster0] # ssh root@HSlave1 'chmod 600 /root/.ssh/authorized_keys && chmod 700 /root/.ssh' 
  [root@HMaster0] # ssh root@HSlave2 'chmod 600 /root/.ssh/authorized_keys && chmod 700 /root/.ssh'

 现在就可以不用密码登陆某一台了。

2. Zookeeper集群安装与配置（三台HSlave配置）

 2.1 安装与配置

1
2
3
4
  # tar zxvf zookeeper-3.4.6.tar.gz
  # mv zookeeper-3.4.6 /opt
  # cd /opt/zookeeper-3.4.6/conf
  # cp zoo_sample.cfg zoo.cfg
1
2
3
4
5
6
7
8
9
10
  # vi zoo.cfg
  tickTime=2000          
  initLimit=10            
  syncLimit=5         
  dataDir= /home/zookeeper/data        
  dataLogDir= /home/zookeeper/logs 
  clientPort=2181     
  server.0=HSlave0:2888:3888         
  server.1=HSlave1:2888:3888
  server.2=HSlave2:2888:3888

 参数说明：

 tickTime：ZK服务器之间或客户端与服务器之间间隔多长时间发送一个心跳，单位毫秒

 initLimit：ZK服务器集群中连接Leader的Follower服务器初始化连接时最长忍受多长心跳时间间隔（5*20000=10s）

 syncLimit：标识Leader与Follower同步消息，如果超过时间（5*2000=10s），未完成同步，将剔除这个节点，所有连接此Follower服务器的客户端将连接到另一个Foolower服务器上

 dataDir：ZK保存数据的目录，默认情况下，ZK也会将日志文件保存在此目录

 dataLogDir：指定日志文件目录

 clientPort：客户端连接ZK服务器端口

 server.0：第一个0代表第几号ZK服务器，HSlave0是这个服务器的主机名或IP，2888是这个ZK服务器与集群中Leader服务器交换信息的端口，3888是Leader服务器出现故障时，用这个端口通信重新选举，在选出一个新的Leader

 2.2 创建目录和id文件（三台HSlave对应操作）

 # mkdir /home/zookeeper/data

 # mkdir /home/zookeeper/logs

 # vi /home/zookeeper/data/myid   

 0

 #必须创建这个id，否则启动会报错。分别ZK集群节点创建myid号，myid一定对应好zoo.cfg中配置的server后面0、1和2这个ZK号

 2.3 分别启动三个ZK节点（三台HSlave操作）

 # /opt/zookeeper-3.4.6/bin/zkServer.sh start

 注意：每次都需要分别启动ZK节点，不能通过hadoop管理启动

 2.4 检查是否启动成功

 分别查看ZK每个节点状态可以看到有两个follower节点，一个leader节点：

 # /opt/zookeeper-3.4.6/bin/zkServer.sh status

1
2
3
4
5
6
  JMX enabled by default
  Using config: /opt/zookeeper-3 .4.6 /bin/ .. /conf/zoo .cfg
  Mode: follower
  JMX enabled by default
  Using config: /opt/zookeeper-3 .4.6 /bin/ .. /conf/zoo .cfg
  Mode: leader

 在集群任意一节点都会启动一个进程：

 # jps

 1990 QuorumPeerMain

博客地址：http://lizhenliang.blog.51cto.com

3. Hadoop安装与配置（每台都同样配置）

 3.1 安装与配置

 # tar zxvf hadoop-2.6.0.tar.gz

 # mv hadoop-2.6.0 /opt

 # cd /opt/hadoop-2.6.0/etc/hadoop

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# vi core-site.xml
<configuration>
         <!--HDFS路径逻辑名称-->
    <property>
         <name>fs.defaultFS< /name >
        <value>hdfs: //hcluster < /value >
    < /property >
         <!--Hadoop存放临时文件位置-->
    <property>
         <name>hadoop.tmp. dir < /name >
        <value> /home/hadoop/tmp < /value >
    < /property >
         <!--使用的zookeeper集群地址-->
    <property>
        <name>ha.zookeeper.quorum< /name >
        <value>HSlave0:2181,HSlave1:2181,HSlave2:2181< /value >
    < /property >
< /configuration >
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
# vi hdfs-site.xml
<configuration>
    <property>
        <name>dfs.nameservices< /name >
         <value>hcluster< /value >
    < /property >
         <!--NameNode地址集群标识（hcluster），最多两个-->
    <property>
        <name>dfs.ha.namenodes.hcluster< /name >
         <value>HMaster0,HMaster1< /value >
    < /property >
         <!--HDFS文件系统数据存储位置，可以分别保存到不同硬盘，突破单硬盘性能瓶颈，多个位置以逗号隔开-->
    <property>
         <name>dfs.data. dir < /name >
        <value> /home/hadoop/hdfs/data < /value >
    < /property >
         <!--数据副本数量，根据HDFS台数设置，默认3份-->
    <property>
         <name>dfs.replication< /name >
         <value>3< /value >
    < /property >
    <property>
        <name>dfs.namenode.rpc-address.hcluster.HMaster0< /name >
        <value>HMaster0:9000< /value >
    < /property >
         <!--RPC端口-->
    <property>
        <name>dfs.namenode.rpc-address.hcluster.HMaster1< /name >
        <value>HMaster1:9000< /value >
    < /property >
         <!--NameNode HTTP访问地址-->
    <property>
        <name>dfs.namenode.http-address.hcluster.HMaster0< /name >
         <value>HMaster0:50070< /value >
    < /property >
    <property>
        <name>dfs.namenode.http-address.hcluster.HMaster1< /name >
        <value>HMaster1:50070< /value >
    < /property >
         <!--NN存放元数据和日志位置-->
    <property>
        <name>dfs.namenode.name. dir < /name >
         <value> file : /home/hadoop/name < /value >
    < /property >
         <!--同时把NameNode元数据和日志存放在JournalNode上( /home/hadoop/journal/hcluster )-->
    <property>
        <name>dfs.namenode.shared.edits. dir < /name >
        <value>qjournal: //HSlave0 :8485;HSlave1:8485;HSlave2:8485 /hcluster < /value >
    < /property >
         <!--JournalNode上元数据和日志存放位置-->
    <property>
        <name>dfs.journalnode.edits. dir < /name >
        <value> /home/hadoop/journal < /value >
    < /property >
         <!--开启NameNode失败自动切换-->
    <property>
        <name>dfs.ha.automatic-failover.enabled< /name >
         <value> true < /value >
    < /property >
         <!--NameNode失败自动切换实现方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.hcluster< /name >
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider< /value >
    < /property >
         <!--隔离机制方法，确保任何时间只有一个NameNode处于活动状态-->
    <property>
        <name>dfs.ha.fencing.methods< /name >
         <value>sshfence(hdfs)
                 shell( /bin/true )< /value >
    < /property >
         <!--使用sshfence隔离机制要SSH免密码认证-->
    <property>
        <name>dfs.ha.fencing. ssh .private-key-files< /name >
        <value> /root/ . ssh /id_rsa < /value >
    < /property >
< /configuration >
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
# vi yarn-site.xml
<configuration>
         <!--启用RM高可用-->
    <property>
        <name>yarn.resourcemanager.ha.enabled< /name >
         <value> true < /value >
    < /property >
         <!--RM集群标识符-->
    <property>
        <name>yarn.resourcemanager.cluster- id < /name >
         <value> rm -cluster< /value >
    < /property >
    <property>
         <!--指定两台RM主机名标识符-->
        <name>yarn.resourcemanager.ha. rm -ids< /name >
         <value>rm1,rm2< /value >
    < /property >
         <!--RM故障自动切换-->
    <property>
         <name>yarn.resourcemanager.ha.automatic-failover.recover.enabled< /name >
         <value> true < /value >
    < /property >
         <!--RM故障自动恢复
    <property>
        <name>yarn.resourcemanager.recovery.enabled< /name > 
         <value> true < /value > 
    < /property > -->
         <!--RM主机1-->
    <property>
        <name>yarn.resourcemanager. hostname .rm1< /name >
         <value>HMaster0< /value >
    < /property >
         <!--RM主机2-->
    <property>
        <name>yarn.resourcemanager. hostname .rm2< /name >
         <value>HMaster1< /value >
    < /property >
        <!--RM状态信息存储方式，一种基于内存(MemStore)，另一种基于ZK(ZKStore)-->
     <property>
        <name>yarn.resourcemanager.store.class< /name >
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore< /value >
     < /property >
         <!--使用ZK集群保存状态信息-->
     <property>
        <name>yarn.resourcemanager.zk-address< /name >
        <value>HSlave0:2181,HSlave1:2181,HSlave2:2181< /value >
     < /property >
         <!--向RM调度资源地址-->
     <property>
        <name>yarn.resourcemanager.scheduler.address.rm1< /name >
         <value>HMaster0:8030< /value >
     < /property >
     <property>
        <name>yarn.resourcemanager.scheduler.address.rm2< /name >
        <value>HMaster1:8030< /value >
     < /property >
         <!--NodeManager通过该地址交换信息-->
     <property>
         <name>yarn.resourcemanager.resource-tracker.address.rm1< /name >
        <value>HMaster0:8031< /value >
     < /property >
     <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2< /name >
        <value>HMaster1:8031< /value >
     < /property >
         <!--客户端通过该地址向RM提交对应用程序操作-->
     <property>
        <name>yarn.resourcemanager.address.rm1< /name >
        <value>HMaster0:8032< /value >
     < /property >
     <property>
        <name>yarn.resourcemanager.address.rm2< /name >
        <value>HMaster1:8032< /value >
     < /property >
         <!--管理员通过该地址向RM发送管理命令-->
     <property>
        <name>yarn.resourcemanager.admin.address.rm1< /name >
        <value>HMaster0:8033< /value >
     < /property >
     <property>
        <name>yarn.resourcemanager.admin.address.rm2< /name >
         <value>HMaster1:8033< /value >
     < /property >
         <!--RM HTTP访问地址,查看集群信息-->
     <property>
        <name>yarn.resourcemanager.webapp.address.rm1< /name >
        <value>HMaster0:8088< /value >
     < /property >
     <property>
        <name>yarn.resourcemanager.webapp.address.rm2< /name >
        <value>HMaster1:8088< /value >
     < /property >
< /configuration >
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# vi mapred-site.xml
<configuration>
         <!--指定MR框架为YARN-->
    <property>
        <name>mapreduce.framework.name< /name >
         <value>yarn< /value >
    < /property >
         <!-- 配置 MapReduce JobHistory Server地址 ，默认端口10020 -->
    <property>
         <name>mapreduce.jobhistory.address< /name >
        <value>0.0.0.0:10020< /value >
    < /property >
         <!-- 配置 MapReduce JobHistory Server HTTP地址， 默认端口19888 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address< /name >
         <value>0.0.0.0:19888< /value >
    < /property >
< /configuration >
1
2
# vi hadoop-env.sh
将 export  JAVA_HOME=${JAVA_HOME}修改为我们安装的JDK路径  export  JAVA_HOME= /usr/local/jdk1 .7
1
2
3
4
# vi slaves 
HSlave0
HSlave1
HSlave2

# 配置变量，方便使用hadoop命令 

1
2
3
4
5
# vi /etc/profile
HADOOP_HOME= /opt/hadoop-2 .6.0
PATH=$PATH:$HADOOP_HOME /bin :$HADOOP_HOME /sbin
export  HADOOP_HOME PATH
# source /etc/profile

 3.1 对NameNode（HMaster0）节点进行格式化

 # hadoop namenode -format

 注意：格式化第二次有可能会造成DataNode无法启动，原因是NameSpaceID不一致造成，解决方法是找出不一致的VERSION修改NameSpaceID，也可以尝试删除hdfs/data目录。

 3.2 启动HMaster0（active）节点NameNode

 # hadoop-daemon.sh start namenode

 3.3 HMaster1节点上同步（HMaster0）元数据

 # hdfs namenode -bootstrapStandby

 3.4 在HMaster0格式化ZKFC

 # hdfs zkfc -formatZK

 3.5 在HMaster0节点启动HDFS集群

 # start-dfs.sh  

 3.6 在Master0节点启动YARN集群

 # start-yarn.sh

 3.7 在Master1节点启动RM

 # yarn-daemon.sh start resourcemanager

 3.8 以后也可以通过start-all.sh与stop-all.sh启停Hadoop集群

 3.9 验证Hadoop集群（HDFS和YARN）是否启动成功

 # jps    #在HMaster0节点可以看到

 32040 DFSZKFailoverController #ZKFC用于监控NameNode active和standby节点状态，并故障切换

 30187 ResourceManager      #YARN资源管理进程

 31934 NameNode           #HDFS元数据进程

 13607 Jps              #运行jps命令时自身进程

 # jps    #在HSlave0节点可以看到

 13229 DataNode

 31215 NodeManager

 1990 QuorumPeerMain

 13314 JournalNode

 31390 Jps

 # 通过访问Hadoop提供的WEB，查看是否正常

wKioL1V6oWHjnOI_AAH-aNgOe1Y220.jpgwKioL1V6oWzRyCyxAAH9B0xphV8330.jpgwKioL1V6oXfCoiM9AARFO7qj3qk390.jpgwKiom1V6n9_hEyOjAACRqGZoL7U782.jpg

从上图可以看出，NameNode分为active和standby，ResouceManager也分为active和standby，也就是说，NN和RM均成功实现HA，当你测试停止active节点上NN或者RM时，都会正常切换到standby节点，这时再访问WEB，状态已经改变。目前NN只支持两台做HA，RM HA支持多台。

4. HDFS 操作命令

# hadoop dfsadmin -report  #查看DataNode节点信息，可以使用这个命令脚本监控DFS状况

# hadoop fs -ls hdfs://hcluster:9000/   #指定HDFS地址访问

# hadoop fs -ls /   #列出HDFS文件系统目录下文件和目录

# hadoop fs -lsr /  #递归列出目录

# hadoop fs -mkdir /test  #创建test目录

# hadoop fs -put /root/test.txt /test/test.txt  #上传文件到test目录

# hadoop fs -cat /test/test.txt  #查看文件内容

# hadoop fs -du /test/test.txt   #查看文件大小

# hadoop fs -rm /test/test.txt   #删除文件

# hadoop fs -rmr /test       #递归删除目录或文件


提醒：Hadoop配置较为复杂，往往会因为自己的一点点配置错误，造成服务无法启动，不要心急，这时你应该静下心来仔细看看安装目录中logs目录下以.log结尾的日志，可帮助你解决问题。祝你好运！


文章标签：
云数据库HBase版
微服务引擎
日志服务
分布式计算
Hadoop
网络安全
机器学习/深度学习
Java
关键词：
hadoop集群
相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&amp;RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
李振良
目录
相关文章
阿甘兄
|
5月前
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
阿甘兄
60 0
一百减一是零
|
1天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
一百减一是零
9 0
yuanzhengme
|
5天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
31 9
yuanzhengme
|
6天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
yuanzhengme
19 4
爱吃糖的范同学
|
9天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
爱吃糖的范同学
8 0
jianz123
|
10天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群（一）安装
centos 部署Hadoop-3.0-高性能集群（一）安装
jianz123
12 0
这啥名啊
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记（HDP）-Part.08 部署Ambari集群
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
这啥名啊
83 0
Hadoop学习笔记（HDP）-Part.08 部署Ambari集群
IT胡图图
|
28天前
|
分布式计算 资源调度 Hadoop
Hadoop集群基本测试
Hadoop集群基本测试
IT胡图图
22 0
疯狂的猿
|
3月前
|
分布式计算 Hadoop Java
linux上面hadoop配置集群
linux上面hadoop配置集群
疯狂的猿
46 0
Maynor
|
4月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
Maynor
35 0

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
  • 3
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 4
    大数据处理架构Hadoop
  • 5
    Hadoop集群基本测试
  • 6
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
  • 7
    Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
  • 8
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
  • 9
    【Hadoop】HDFS 读写流程
  • 10
    大数据Hadoop生态圈体系视频课程
  • 1
    hadoop 启动和验证
    24
  • 2
    Apache Hadoop YARN基本架构
    23
  • 3
    hadoop模块
    23
  • 4
    Hadoop 配置
    28
  • 5
    hadoop配置文件参数
    39
  • 6
    使用Hadoop和Nutch构建音频爬虫：实现数据收集与分析
    23
  • 7
    Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
    63
  • 8
    百度搜索：蓝易云【Ubuntu搭建全分布式Hadoop】
    27
  • 9
    hadoop升级流程
    40
  • 10
    Hadoop：驭服数据洪流的利器
    26

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 基于EBS部署高性能的MySQL服务
  • 搭建Hadoop环境
    • 下一篇
    阿里云oss简介和使用流程