hadoop

#hadoop#

已有18人关注此标签

内容分类

开源大数据EMR

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年,它可以支持使用廉价的商用硬件来存储海量数据。

隐林

阿里巴巴飞天大数据架构体系与Hadoop生态系统

先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算,充分利用集群的威力进行高速运算和存储。

yq传送门

除了吃月饼,中秋节还能干啥? | 9月12号栖夜读

今天的首篇文章,讲述了:明天八月十五,团圆夜花好月圆之际!除了吃月饼,还能干啥?

java填坑路

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。

北斗云

Apache Zepplin使用Hive Interpreter查询

1.Hadoop a).配置core-site.xml hadoop文件core-site.xml中配置信息如下,重启HDFS <property> <name>hadoop.proxyuser.

好程序员

好程序员大数据学习路线分享Scala系列之映射Map

好程序员大数据学习路线分享Scala系列之映射Map首先我们先来看一下什么是映射(map)在Scala中,把哈希表这种数据结构叫做映射。 构建映射 在Scala中,有两种Map,一个是immutable包下的Map,该Map中的内容不可变;另一个是mutable包下的Map,该Map中的内容可变。

开源大数据EMR

EMR 升级Hadoop 2.8.5

信息摘要: EMR 提供Hadoop 2.8.5,方便开发者使用新版Hadoop功能。适用客户: 所有客户版本/规格功能: EMR-3.18.0及以后版本,Hadoop升级为2.8.5,开发者可以方便地使用新版Hadoop的功能。

好程序员

大数据学习路线分享Scala系列之基础篇

好程序员大数据学习路线分享Scala系列之基础篇先来了解Scala1.1 什么是 ScalaScala 是 Scalable Language 的简写,是一门多范式的编程语言。Scala设计的初衷是要集成面向对象编程和函数式编程的各种特性。

游客syxudncovqql2

如何在 Flink 1.9 中使用 Hive?

Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能,用户可以通过 Flink 来访问 Hive 的元数据,以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。

好程序员

好程序员大数据学习路线分享Hadoop阶段的高可用配置

  好程序员大数据学习路线分享Hadoop阶段的高可用配置,什么是Hadoop的HA机制  Ha机制即Hadoop的高可用(7*24小时不中断服务)  正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制  hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、Y...

好程序员

好程序员大数据学习路线之zookeeper干货

  好程序员大数据学习路线之zookeeper干货,上周学习了zookeeper,一开始感觉不容易理解,后来随着学习的深入,渐渐地明白了很多知识,下面慢慢来介绍zookeeper。  zookeeper是什么???  zookeeper是一个分布式协调服务,就是为用户的分布式应用程序提供协调服务的。

hiekay

Flink#了解Flink 新一代大数据处理引擎 Apache Flink

Flink#了解Flink 新一代大数据处理引擎 Apache Flink

北斗云

Alluxio使用——HBase篇

1.服务启停 Zookeeper ./zookeeper/bin.zkServer.sh start ./zookeeper/conf/zoo.cfg ./zookeeper/bin.zkServer.

北斗云

Alluxio使用——Hive篇

1.服务启停 Zookeeper ./zookeeper/bin.zkServer.sh start ./zookeeper/conf/zoo.cfg ./zookeeper/bin.zkServer.