《Hadoop集群与安全》一1.3 为Hadoop集群选择操作系统

简介:

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.3节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.3 为Hadoop集群选择操作系统

为Hadoop集群选择操作系统是一项相对简单的任务。Hadoop核心以及生态系统组件都是由Java编写的,当然其中也有一些例外。虽然Java代码本身就是跨平台的,但是目前Hadoop只能运行在类似Linux这样的系统上。理由是许多设计决定都是以Linux进行考虑的,因此类似于“开始/停止”脚本以及权限模型(permissions model)这样核心Hadoop组件都依赖于Linux环境。
Hadoop在Linux平台上的实现方式都是相同的并且在不同的版本上都有良好的表现:Red Hat、CentOS、Debian、Ubuntu、Suse以及Fedora。在所有这些版本上运行Hadoop都没有特别的要求。如果所有的依赖项解析以及命令解释器支持脚本都运行良好,那么Hadoop也能够成功运行在其他类似POSIX(比如Solaris或者BSD)的操作系统上。目前大部分Hadoop产品的安装都运行在Linux上,我们之后的讲解也会将重点放在该操作系统上。本书中的示例都运行在CentOS上,和Red Hat一样,它也是应用最为广泛的实际应用系统之一。
Apache Hadoop提供了源文件以及用于稳定发行版的RPM以及DEB包。目前它是1.0版本的一个分支。我们可以根据源代码构建Hadoop,但是对于大部分用户我们并不推荐这么做,因为这要求构架大型Java项目的经验以及精细的依赖项解析。Cloudera以及Hortonworks发行版为用户提供了方便的途径在服务器上安装存储库以及所需要的包。
Hadoop并没有严格要求在所有节点上运行相同的操作系统,但是根据经验来说保持节点配置的一致性更有利于我们进行管理。

相关文章
|
3月前
|
存储 弹性计算 安全
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(1)
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(1)
337 1
|
29天前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
54 3
|
3月前
|
存储 弹性计算 安全
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(2)
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(2)
668 1
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(2)
|
1天前
|
关系型数据库 分布式数据库 数据库
|
7天前
|
安全
电子好书发您分享《2023龙蜥操作系统大会全面建设安全生态分论坛》
**摘要:** 探索《2023龙蜥操作系统大会》安全生态构建,聚焦分论坛详情。[阅读电子书](https://developer.aliyun.com/ebook/8321/116408?spm=a2c6h.26392459.ebook-detail.4.9c1b4d22UwGokL),洞悉大会安全议题与生态合作新动向。图片展示现场盛况及会议主题。
41 10
|
11天前
|
安全 中间件 Linux
安全厂商长擎软件加入龙蜥社区,共建领先的 OS 基础设施
长擎软件的加入将进一步助力龙蜥操作系统的安全能力增强。
|
15天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
|
21天前
|
存储 分布式计算 Hadoop
Hadoop集群搭建
Hadoop集群搭建
|
21天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
21天前
|
存储 分布式计算 Hadoop
Hadoop集群规模扩展
【4月更文挑战第14天】Hadoop集群扩展可通过添加更多节点、垂直扩展(增强单节点资源)和水平扩展(增加节点数量)来实现。关键点包括规划扩展策略、确保集群稳定性和优化配置。注意在扩展过程中要保证数据完整性,并根据需求调整以提升集群性能和效率。
21 1