备案控制台
探索云世界
开发者社区 数据库 文章 正文

Hadoop、Hbase完全分布式搭建

2017-11-14 1059
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介：

一、Hadoop1.0到2.0的架构变化

wKioL1UNG-aSt10OAAHl295Gnjw111.jpg

1、Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成

2、HDFSNN Federation、HA

3、MapReduce运行在YARN上的MR

4、YARN资源管理系统


二、HDFS 2.0

1、解决HDFS 1.0中单点故障和内存受限问题。

2、解决单点故障

   HDFS HA通过主备NameNode解决

   如果主NameNode发生故障则切换到备NameNode上

3、解决内存受限问题

   HDFS Federation(联邦)

   水平扩展支持多个NameNode

   每个NameNode分管一部分目录

   所有NameNode共享所有DataNode存储资

4、仅是架构上发生了变化使用方式不变

  对HDFS使用者透明

   HDFS 1.0中的命令和API仍可以使用$ hadoop fs -ls /user/hadoop/$ hadoop fs -mkdir           /user/hadoop/data


三、HDFS 2.0 HA

1、主备NameNode

2、解决单点故障

   主NameNode对外提供服务备NameNode同步主NameNode元数据以待切换

   所有DataNode同时向两个NameNode汇报数据块信息

3、两种切换选择

   手动切换通过命令实现主备之间的切换可以用HDFS升级等场合

   自动切换基于Zookeeper实现

4、基于Zookeeper自动切换方案

   Zookeeper Failover Controller监控NameNode健康状态并向Zookeeper注册NameNode

   NameNode挂掉后ZKFC为NameNode竞争锁获得ZKFC 锁的NameNode变为active


四、环境搭建

192.168.1.2  master

192.168.1.3  slave1

192.168.1.4  slave2

Hadoop versionhadoop-2.2.0.tar.gz

Hbase  versionhbase-0.98.11-hadoop2-bin.tar.gz 

Zookeeper versionzookeeper-3.4.5.tar.gz

JDK versionjdk-7u25-linux-x64.gz


1、主机HOSTS文件配置

1
2
3
4
5
6
7
8
9
10
11
12
[root@master ~] # cat /etc/hosts
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
[root@slave1 ~] # cat /etc/hosts
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
[root@slave2 ~] # cat /etc/hosts
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2


2、配置节点之间互信

1
2
3
4
5
6
7
8
9
10
[root@master ~] # useradd hadoop
[root@slave1 ~] # useradd hadoop
[root@slave2 ~] # useradd hadoop
[root@master ~] # passwd hadoop
[root@slave1 ~] # passwd hadoop
[root@slave2 ~] # passwd hadoop
[root@master ~] # su - hadoop
[hadoop@master ~]$  ssh -copy- id  -i ~/. ssh /id_rsa .pub slave1
[hadoop@master ~]$  ssh -copy- id  -i ~/. ssh /id_rsa .pub slave2
[hadoop@master ~]$  ssh -copy- id  -i ~/. ssh /id_rsa .pub master



3、JDK环境配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@master ~] # tar jdk-7u25-linux-x64.gz
[root@master ~] # mkdir /usr/java
[root@master ~] # mv jdk-7u25-linux-x64.gz /usr/java
[root@master ~] # cd /usr/java/
[root@master java] # ln -s jdk1.7.0_25 jdk
# 修改/etc/profile,添加
export  JAVA_HOME= /usr/java/jdk
export  CLASSPATH=$CLASSPATH:$JAVA_HOME /lib :$JAVA_HOME /jre/lib
export  PATH= /usr/java/jdk/bin :$PATH
[root@master ~] # source /etc/profile
[root@master ~] # java -version
java version  "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)
 
# slave1,slave2同样操作


4.Hadoop安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
[root@master ~] # tar zxvf hadoop-2.2.0.tar.gz
[root@master ~] # mv hadoop-2.2.0 /home/hadoop/
[root@master ~] # cd /home/hadoop/
[root@master hadoop] # ln -s hadoop-2.2.0 hadoop
[root@master hadoop] # chown -R hadoop.hadoop /home/hadoop/
[root@master ~] # cd /home/hadoop/hadoop/etc/hadoop
# 修改hadoop-env.sh文件
export  JAVA_HOME= /usr/java/jdk
export  HADOOP_HEAPSIZE=200
 
# 修改mapred-env.sh文件
export  JAVA_HOME= /usr/java/jdk
export  HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
 
# 修改yarn-env.sh文件
export  JAVA_HOME= /usr/java/jdk
JAVA_HEAP_MAX=-Xmx300m
YARN_HEAPSIZE=100
 
 
# 修改core-site.xml文件
<configuration>
     <property>
         <name>fs.defaultFS< /name >
         <value>hdfs: //master :9000< /value >
     < /property >
     <property>
             <name>hadoop.tmp. dir < /name >
             <value> /home/hadoop/tmp < /value >
     < /property >
     <property>
         <name>hadoop.proxyuser.hadoop.hosts< /name >
         <value>*< /value >
     < /property >
     <property>
         <name>hadoop.proxyuser.hadoop. groups < /name >
         <value>*< /value >
     < /property >
< /configuration >
 
# 修改hdfs-site.xml文件
<configuration>
     <property>
         <name>dfs.namenode.secondary.http-address< /name >
         <value>master:9001< /value >
     < /property >
     <property>
         <name>dfs.namenode.name. dir < /name >
         <value> /home/hadoop/dfs/name < /value >
     < /property >
     <property>
         <name>dfs.datanode.data. dir < /name >
         <value> /home/hadoop/dfs/data < /value >
     < /property >
     <property>
         <name>dfs.replication< /name >
         <value>2< /value >
     < /property >
     <property>
         <name>dfs.webhdfs.enabled< /name >
         <value> true < /value >
     < /property >
< /configuration >
 
 
# 修改mapred-site.xml文件
<configuration>
     <property>
         <name>mapreduce.framework.name< /name >
         <value>yarn< /value >
     < /property >
     <property>
         <name>mapreduce.jobhistory.address< /name >
         <value>master:10020< /value >
     < /property >
     <property>
         <name>mapreduce.jobhistory.webapp.address< /name >
         <value>master:19888< /value >
     < /property >
     <property>
         <name>mapreduce.map.memory.mb< /name >
         <value>512< /value >
     < /property >
     <property>
         <name>mapreduce.map.cpu.vcores< /name >
         <value>1< /value >
     < /property >
     <property>
         <name>mapreduce.reduce.memory.mb< /name >
         <value>512< /value >
     < /property >
< /configuration >
 
# 修改yarn-site.xml文件
<configuration>
     <property>
         <name>yarn.nodemanager.aux-services< /name >
         <value>mapreduce_shuffle< /value >
     < /property >
     <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class< /name >
         <value>org.apache.hadoop.mapred.ShuffleHandler< /value >
     < /property >
     <property>
         <name>yarn.resourcemanager.address< /name >
         <value>master:8032< /value >
     < /property >
     <property>
         <name>yarn.resourcemanager.scheduler.address< /name >
         <value>master:8030< /value >
     < /property >
     <property>
         <name>yarn.resourcemanager.resource-tracker.address< /name >
         <value>master:8031< /value >
     < /property >
     <property>
         <name>yarn.resourcemanager.admin.address< /name >
         <value>master:8033< /value >
     < /property >
     <property>
         <name>yarn.resourcemanager.webapp.address< /name >
         <value>master:8088< /value >
     < /property >
     <property>
         <name>yarn.scheduler.minimum-allocation-mb< /name >
         <value>100< /value >
     < /property >
     <property>
         <name>yarn.scheduler.maximum-allocation-mb< /name >
         <value>200< /value >
     < /property >
     <property>
         <name>yarn.scheduler.minimum-allocation-vcores< /name >
         <value>1< /value >
     < /property >
     <property>
         <name>yarn.scheduler.maximum-allocation-vcores< /name >
         <value>2< /value >
     < /property >
< /configuration >
 
# 修改slaves文件
slave1
slave2
 
# 修改 /home/hadoop/.bashrc
 
export  HADOOP_DEV_HOME= /home/hadoop/hadoop
export  PATH=$PATH:$HADOOP_DEV_HOME /bin
export  PATH=$PATH:$HADOOP_DEV_HOME /sbin
export  HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export  HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export  HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export  YARN_HOME=${HADOOP_DEV_HOME}
export  HADOOP_CONF_DIR=${HADOOP_DEV_HOME} /etc/hadoop
export  HDFS_CONF_DIR=${HADOOP_DEV_HOME} /etc/hadoop
export  YARN_CONF_DIR=${HADOOP_DEV_HOME} /etc/hadoop
 
# 将上面修改的文件全部传送到slave1,slave2节点



5、在master节点上启动hdfs

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
[hadoop@master ~]$  cd  /home/hadoop/hadoop/sbin/
[hadoop@master sbin]$ . /start-dfs .sh 
15 /03/21  00:49:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library  for  your platform... using  builtin -java classes where applicable
Starting namenodes on [master]
master: starting namenode, logging to  /home/hadoop/hadoop-2 .2.0 /logs/hadoop-hadoop-namenode-master .out
slave2: starting datanode, logging to  /home/hadoop/hadoop-2 .2.0 /logs/hadoop-hadoop-datanode-slave2 .out
slave1: starting datanode, logging to  /home/hadoop/hadoop-2 .2.0 /logs/hadoop-hadoop-datanode-slave1 .out
Starting secondary namenodes [master]
master: starting secondarynamenode, logging to  /home/hadoop/hadoop-2 .2.0 /logs/hadoop-hadoop-secondarynamenode-master .out
 
# 查看进程
[hadoop@master ~]$ jps
39093 Jps
38917 SecondaryNameNode
38767 NameNode
 
[root@slave1 ~] # jps
2463 Jps
2379 DataNode
 
[root@slave2 ~] # jps
2463 Jps
2379 DataNode
 
#启动jobhistory
 
[hadoop@master sbin]$ mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to  /home/hadoop/hadoop-2 .2.0 /logs/mapred-hadoop-historyserver-master .out



6、启动yarn

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[hadoop@master ~]$  cd  /home/hadoop/hadoop/sbin/
[hadoop@master sbin]$ . /start-yarn .sh 
starting yarn daemons
starting resourcemanager, logging to  /home/hadoop/hadoop-2 .2.0 /logs/yarn-hadoop-resourcemanager-master .out
slave2: starting nodemanager, logging to  /home/hadoop/hadoop-2 .2.0 /logs/yarn-hadoop-nodemanager-slave2 .out
slave1: starting nodemanager, logging to  /home/hadoop/hadoop-2 .2.0 /logs/yarn-hadoop-nodemanager-slave1 .out
 
# 查看进程
[hadoop@master sbin]$ jps
39390 Jps
38917 SecondaryNameNode
39147 ResourceManager
38767 NameNode
[hadoop@slave1 ~]$ jps
2646 Jps
2535 NodeManager
2379 DataNode
 
[hadoop@slave2 ~]$ jps
8261 Jps
8150 NodeManager
8004 DataNode


7、查看hdfs文件系统

1
2
3
4
5
[hadoop@master sbin]$ hadoop fs - ls  /
15 /03/21  15:56:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library  for  your platform... using  builtin -java classes where applicable
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2015-03-20 17:46  /hbase
drwxrwx---   - hadoop supergroup          0 2015-03-20 16:56  /tmp



8、安装Zookeeper

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@master ~] # tar zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/
[root@master ~] # cd /home/hadoop/
[root@master hadoop] # ln -s zookeeper-3.4.5 zookeeper
[root@master hadoop] # chown -R hadoop.hadoop /home/hadoop/zookeeper
[root@master hadoop] # cd zookeeper/conf/
[root@master conf] # cp zoo_sample.cfg zoo.cfg
# 修改zoo.cfg
dataDir= /home/hadoop/zookeeper/data
dataLogDir= /home/hadoop/zookeeper/logs
server.1=192.168.1.2:7000:7001
server.2=192.168.1.3:7000:7001
server.3=192.168.1.4:7000:7001
#在slave1,slave2执行相同的操作
 
[hadoop@master conf] # cd /home/hadoop/zookeeper/data/
[hadoop@master data] # echo 1 > myid 
[hadoop@slave1 data] # echo 2 > myid 
[hadoop@slave2 data] # echo 3 > myid 
 
#启动zookeeper
[hadoop@master ~]$  cd  zookeeper /bin/
[hadoop@master bin]$ . /zkServer .sh start
[hadoop@slave1 ~]$  cd  zookeeper /bin/
[hadoop@slave1 bin]$ . /zkServer .sh start
[hadoop@slave2 ~]$  cd  zookeeper /bin/
[hadoop@slave2 bin]$ . /zkServer .sh start



9、Hbase安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
[root@master ~] # tar zxvf hbase-0.98.11-hadoop2-bin.tar.gz -C /home/hadoop/
[root@master ~] # cd /home/hadoop/
[root@master hadoop] # ln -s hbase-0.98.11-hadoop2 hbase
[root@master hadoop] # chown -R hadoop.hadoop /home/hadoop/hbase
[root@master hadoop] # cd /home/hadoop/hbase/conf/
# 修改hbase-env.sh文件
export  JAVA_HOME= /usr/java/jdk
export  HBASE_HEAPSIZE=50
 
# 修改 hbase-site.xml 文件
<configuration>
     <property>
         <name>hbase.rootdir< /name >
         <value>hdfs: //master :9000 /hbase < /value >
     < /property >
     <property>
         <name>hbase.cluster.distributed< /name >
         <value> true < /value >
     < /property >
     <property>    
             <name>hbase.zookeeper.property.clientPort< /name >    
             <value>2181< /value >    
     < /property >
     <property>
           <name>hbase.zookeeper.quorum< /name >
           <value>master,slave1,slave2< /value >
     < /property >
< /configuration >
 
# 修改regionservers文件
slave1
slave2
 
# 将上面修改的文件传送到slave1,slave2



10、在master上面启动Hbase

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
[hadoop@master ~]$  cd  hbase /bin/
[hadoop@master bin]$ . /start-hbase .sh 
master: starting zookeeper, logging to  /home/hadoop/hbase/bin/ .. /logs/hbase-hadoop-zookeeper-master .out
slave1: starting zookeeper, logging to  /home/hadoop/hbase/bin/ .. /logs/hbase-hadoop-zookeeper-slave1 .out
slave2: starting zookeeper, logging to  /home/hadoop/hbase/bin/ .. /logs/hbase-hadoop-zookeeper-slave2 .out
starting master, logging to  /home/hadoop/hbase/bin/ .. /logs/hbase-hadoop-master-master .out
slave1: starting regionserver, logging to  /home/hadoop/hbase/bin/ .. /logs/hbase-hadoop-regionserver-slave1 .out
slave2: starting regionserver, logging to  /home/hadoop/hbase/bin/ .. /logs/hbase-hadoop-regionserver-slave2 .out
 
# 查看进程
[hadoop@master bin]$ jps
39532 QuorumPeerMain
38917 SecondaryNameNode
39147 ResourceManager
39918 HMaster
38767 NameNode
40027 Jps
 
[hadoop@slave1 data]$ jps
3021 HRegionServer
3133 Jps
2535 NodeManager
2379 DataNode
2942 HQuorumPeer
 
[hadoop@slave2 ~]$ jps
8430 HRegionServer
8351 HQuorumPeer
8150 NodeManager
8558 Jps
8004 DataNode
 
# 验证
 
[hadoop@master bin]$ . /hbase  shell
2015-03-21 16:11:44,534 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter  'help<RETURN>'  for  list of supported commands.
Type  "exit<RETURN>"  to leave the HBase Shell
Version 0.98.11-hadoop2, r6e6cf74c1161035545d95921816121eb3a516fe0, Tue Mar  3 00:23:49 PST 2015
 
hbase(main):001:0> list
TABLE                                                                                                                                                                                           
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding  in  [jar: file : /home/hadoop/hbase-0 .98.11-hadoop2 /lib/slf4j-log4j12-1 .6.4.jar! /org/slf4j/impl/StaticLoggerBinder .class]
SLF4J: Found binding  in  [jar: file : /home/hadoop/hadoop-2 .2.0 /share/hadoop/common/lib/slf4j-log4j12-1 .7.5.jar! /org/slf4j/impl/StaticLoggerBinder .class]
SLF4J: See http: //www .slf4j.org /codes .html #multiple_bindings for an explanation.
2015-03-21 16:11:56,499 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library  for  your platform... using  builtin -java classes where applicable
0 row(s)  in  1.9010 seconds
 
=> []




11、查看集群状态

HDFS UIhttp://192.168.1.2:50070/dfshealth.jsp

wKioL1UNKangFROXAASShwIuv2E204.jpg


YARN UIhttp://192.168.1.2:8088/cluster

wKioL1UNKg3ztIHXAALvk_7_in4772.jpg


jobhistory UIhttp://192.168.1.2:19888/jobhistory


wKiom1UNKkPhxPw2AAIHcsxpKeg884.jpg


HBASE UIhttp://192.168.1.2:60010/master-status

wKioL1UNKnfzNKHkAAKUUKivsdg997.jpg






     本文转自ljl_19880709 51CTO博客，原文链接：http://blog.51cto.com/luojianlong/1622823，如需转载请自行联系原作者



文章标签：
云数据库HBase版
微服务引擎
分布式计算
Hadoop
Java
Hbase
分布式数据库
关键词：
hadoop分布式
云数据库HBase版分布式
hbase分布式
hadoop hbase
云数据库HBase版hadoop
相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&amp;RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
技术小胖子
目录
相关文章
蓝易云
|
3月前
|
分布式计算 Ubuntu Hadoop
百度搜索：蓝易云【Ubuntu搭建全分布式Hadoop】
请注意，以上只是概述，并不包含详细的步骤和指令。搭建全分布式Hadoop是一个复杂的过程，需要对Hadoop的架构和配置有深入的理解，并熟悉Linux系统管理。建议在搭建全分布式Hadoop之前，先学习相关知识并查阅官方文档和教程，以确保正确搭建和配置Hadoop集群。
蓝易云
27 0
桃李春风一杯酒
|
11天前
|
分布式计算 Hadoop 大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
桃李春风一杯酒
28 1
诸葛子房
|
4月前
|
分布式计算 Hadoop 关系型数据库
Hadoop任务scan Hbase 导出数据量变小分析
Hadoop任务scan Hbase 导出数据量变小分析
诸葛子房
53 0
算精通
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop分布式
基于Java的分布式计算平台，旨在处理海量数据。【2月更文挑战第19天】
算精通
25 2
极客李华
|
3月前
|
存储 分布式计算 Hadoop
Hadoop中的HBase是什么？请解释其作用和用途。
Hadoop中的HBase是什么？请解释其作用和用途。
极客李华
40 0
Maynor
|
4月前
|
SQL 分布式数据库 HIVE
分布式NoSQL列存储数据库Hbase（六）
分布式NoSQL列存储数据库Hbase（六）
Maynor
49 0
Maynor
|
4月前
|
缓存 分布式计算 NoSQL
分布式NoSQL列存储数据库Hbase_MR集成Hbase：读写Hbase规则（九）
分布式NoSQL列存储数据库Hbase_MR集成Hbase：读写Hbase规则（九）
Maynor
38 0
Maynor
|
4月前
|
NoSQL 分布式数据库 数据库
分布式NoSQL列存储数据库Hbase_列族的设计（五）
分布式NoSQL列存储数据库Hbase_列族的设计（五）
Maynor
199 0
Maynor
|
4月前
|
存储 NoSQL 分布式数据库
分布式NoSQL列存储数据库Hbase_高级思想（八）
分布式NoSQL列存储数据库Hbase_高级思想（八）
Maynor
41 0
Maynor
|
4月前
|
存储 NoSQL 分布式数据库
分布式NoSQL列存储数据库Hbase Java API（四）
分布式NoSQL列存储数据库Hbase Java API（四）
Maynor
20 0

热门文章

最新文章

  • 1
    Linux安装HBase的详细教程及常用方法
  • 2
    TorchAcc：基于 TorchXLA 的分布式训练框架
  • 3
    GaussDB分布式与单机模式的比较
  • 4
    【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
  • 5
    【亿级数据专题】「分布式服务框架」 盘点本年度我们探索服务的保障容量的三大关键方案实现
  • 6
    缓存、分布式缓存和持久化
  • 7
    LLaMA-Factory 基于docker的大模型多卡分布式微调
  • 8
    【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析，实现高效数据同步
  • 9
    深度思考：雪花算法snowflake分布式id生成原理详解
  • 10
    Spring+SpringMVC+Mybatis的分布式敏捷开发系统架构
  • 1
    Hadoop的NameNode的监控与副本管理
    12
  • 2
    Hadoop集群节点添加
    15
  • 3
    hadoop的伪分布式搭建-带网盘
    16
  • 4
    Hadoop的运行模式
    7
  • 5
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
    32
  • 6
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
    36
  • 7
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    36
  • 8
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    24
  • 9
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
    22
  • 10
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
    28

    • 相关课程

    更多
  • 大数据Hadoop快速入门
  • 云数据库HBase版使用教程
  • HBase入门教程
  • 分布式数据库 HBase 快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）