阿里巴巴飞天大数据架构体系与Hadoop生态系统

隐林 2019-09-09

架构 飞天 hdfs hadoop 数据仓库 集群 google 数据节点 分布式文件系统 并行计算 Mapreduce 存储 海量数据

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么,和自建Hadoop平台有什么区别。

先说Hadoop

什么是Hadoop?
Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算,充分利用集群的威力进行高速运算和存储。

Hadoop的核心有两大板块:HDFS和MapReduce。

HDFS全称Hadoop Distributed File System,是一种分布式文件存储系统。分布式文件系统是指将固定于某个地点的某个文件系统,扩展到任意多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时,无需关心数据是存储在哪个节点上

登录 后评论
下一篇
corcosa
16875人浏览
2019-10-08
相关推荐
飞天,进化!
1267人浏览
2016-10-29 00:24:40
2
7
0
6124