hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装-阿里云开发者社区

hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装

2015-08-04 1184

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

服务治理 MSE Sentinel/OpenSergo，Agent数量不受限

简介： 一、hadoop2.6伪分布安装请参考：http://blog.csdn.net/gamer_gyt/article/details/46793731二、pig0.15安装 Pig的介绍 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

一、hadoop2.6伪分布安装请参考：http://blog.csdn.net/gamer_gyt/article/details/46793731
二、pig0.15安装
Pig的介绍
Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译
器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算
提供了一个简易的操作和编程接口.
Pig的运行模式

1.本地模式　　

Pig运行于本地模式，只涉及到单独的一台计算机。

2.MapReduce模式　　

Pig运行于MapReduce模式，需要能访问一个Hadoop集群，并且需要装上HDFS。

Pig的调用方式
    Grunt shell方式：通过交互的方式，输入命令执行任务；
    Pig script方式：通过script脚本的方式来运行任务；
    嵌入式方式：嵌入java源代码中，通过java调用来运行任务。
Pig的安装
1）下载Pig前往http://mirror.bit.edu.cn/apache/pig/ 下载合适的版本，比如Pig 0.12.02）解压文件到
合适的目录tar –xzf pig-0.12.03）设置环境变量export PIG_INSTALL=/opt/pig-0.12.0export PATH=
$PATH:$PIG_INSTALL/bin4）验证执行以下命令，查看Pig是否可用：
pig –help
进入本地模式：pig –x local
进入MapReduce模式：pig –x mapreduce
三、zookeeper3.4.6安装
获取ZooKeeper安装包
    下载地址：http://apache.dataguru.cn/zookeeper
    选择一个稳定版本进行下载，我这里下载的是zookeeper-3.4.6版本。
ZooKeeper伪分布式集群安装
    伪分布式集群：在一台Server中，启动多个ZooKeeper的实例。
上传并解压安装包解压到相应的目录,重命名
tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/hadoop
mv zookeeper-3.4.6 zookeeper
创建实例配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo1.cfg
cp zoo_sample.cfg zoo2.cfg
cp zoo_sample.cfg zoo3.cfg
修改配置文件
实例1的配置：
vi zoo1.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/hadoop/zookeeper/d_1
clientPort=2181
dataLogDir=/usr/local/hadoop/zookeeper/logs_1
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
实例2的配置：
vi zoo2.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/hadoop/zookeeper/d_2
clientPort=2182
dataLogDir=/usr/local/hadoop/zookeeper/logs_2
server.1=localhost:2887:3887
server.2=localhost:2888:3888

server.3=localhost:2889:3889

实例3的配置：

vi zoo3.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/hadoop/zookeeper/d_3
clientPort=2183
dataLogDir=/usr/local/hadoop/zookeeper/logs_3
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
准备启动环境
mkdir/usr/local/hadoop/zookeeper/d_1
mkdir /usr/local/hadoop/zookeeper/d_2
mkdir /usr/local/hadoop/zookeeper/d_3

mkdir /usr/local/hadoop/zookeeper/logs_1
mkdir /usr/local/hadoop/zookeeper/logs_2
mkdir /usr/local/hadoop/zookeeper/logs_3

echo "1" > /usr/local/hadoop/zookeeper/d_1/myid
echo "2" > /usr/local/hadoop/zookeeper/d_2/myid
echo "3" > /usr/local/hadoop/zookeeper/d_3/myid
启动集群
bin/zkServer.sh start zoo1.cfg
bin/zkServer.sh start zoo2.cfg
bin/zkServer.sh start zoo3.cfg
查看是否启动成功
jps
#看到类似下面的进程就表示3个实例均启动成功
13419 QuorumPeerMain
13460 QuorumPeerMain
13561 Jps
13392 QuorumPeerMain
错误：Error contacting service. It is probably not running
原因和解决办法：
1. 没有装nc
yum install nc 或者apt-get install nc,
或者下载netcat的包，本文也有连接，
安装步骤：
a. tar -zxvf netcat***.tar.gz
b. ./configure
c. make
d. make install
OK
2. 打开zkServer.sh，找到
STAT=`echo stat | nc localhost $(grep clientPort "$ZOOCFG" | sed -e 's/.*=//') 2> /dev/null|grep Mode`
这行，加上或去掉-q 1（数字1而非字母l）即可。
3. /etc/hosts里面没有配置localhost
第二个问题一般的机器都没有问题，但是有一种情况没有配置，通过模板导入的虚拟机。
在/etc/hosts里增加下面一行
127.0.0.1 localhost SDN-VM1
运行结果：
JMX enabled by default
Using config: /opt/zookeeper-3.3.3/bin/../conf/zoo.cfg

Mode: follower

4、电脑重启

Java客户端测试
需要引入zookeeper-3.4.6.jar和slf4j-api-1.61.jar这两个jar包。
package com.cjw.demo;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.ZooDefs.Ids;

public class ZooKeeperClient {
    public static void main(String[] args) throws Exception {
        Watcher watcher = new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.toString());
            }
        };
        ZooKeeper zk = new ZooKeeper("192.168.157.22:2181", 3000, watcher);
        System.out.println("====创建节点");
        zk.create("/cjw", "znode1".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println("====查看节点是否安装成功");
        System.out.println(new String(zk.getData("/cjw", false, null)));
        System.out.println("====修改节点的数据");
        zk.setData("/cjw", "cjw2015".getBytes(), -1);
        System.out.println("====查看修改的节点是否成功");
        System.out.println(new String(zk.getData("/cjw", false, null)));
        System.out.println("====删除节点");
        zk.delete("/cjw", -1);
        System.out.println("====查看节点是否被删除");
        System.out.println("节点状态：" + zk.exists("/cjw", false));
        zk.close();
    }
}
运行结果：
====创建节点
WatchedEvent state:SyncConnected type:None path:null
====查看节点是否安装成功
znode1
====修改节点的数据
====查看修改的节点是否成功
cjw2015
====删除节点
====查看节点是否被删除

节点状态：null配置文件说明

initLimit: follower连接并同步到leader的初始化连接时间，它是通过tickTime的倍数表示。当初始化连接时间超过设置的时间时，则连接失败。

syncLimit: follower和leader之间发送消息时请求和应答的时间长度，如果follower在设置的时间范围内不能和leader通信，那么该follower将被丢弃，它也是按tickTime的倍数进行配置的。

tickTime: 定义心跳的时间间隔，
注：zk的client和server之间也有和web开发类似的session的概念，而zk里最小的session过期时间就是tickTime的两倍
dataDir: 存储在内存中数据库快照功能。

clientPort: 监听客户端连接的端口号

dataLogDir: zk运行的相关日志写入目录，设定了配置，那么dataLog里日志的目录将无效，专门的日志存放

路径，对zk的性能和稳定性有好处。

hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装

热门文章

最新文章

相关课程

相关电子书

相关实验场景