【中间件2】在虚拟机搭建JStrom

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 一 安装步骤二 搭建Zookeeper集群1 ZooKeeper 单机安装与配置11 下载zookeeper安装包12 解压zookeeper安装包13 设置环境变量14 配置zoocfg15 启动zookeeper三 搭建JStorm...

一 安装步骤

  • Downloads下载relase包(jstorm-2.1.1.zip)
  • 要先配制 Java JDK
  • 搭建Zookeeper集群
  • 安装Python 2.6
  • 配置$JSTORM_HOME/conf/storm.yaml
  • 搭建Web UI
  • 启动JStorm集群

二 搭建Zookeeper集群

  • 安装步骤麻烦参考 ”Zookeeper 简易安装步骤1
  • Zookeeper配置麻烦参考 “Zookeeper单机模式、伪集群模式、集群模式的安装2

2.1 ZooKeeper 单机安装与配置

2.1.1 下载zookeeper安装包

下载地址:http://apache.dataguru.cn/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz
我这里下载的是:zookeeper-3.4.5.tar.gz

2.1.2 解压zookeeper安装包

wu_being@JStorm-VirtualBox:~$ sudo tar -zxvf zookeeper-3.4.5.tar.gz
wu_being@JStorm-VirtualBox:~$ sudo chown -R wu_being:wu_being zookeeper-3.4.5

这里写图片描述

2.1.3 设置环境变量

在/etc/profile和/home/wu_being/.bashrc文件后添加如下信息3

JAVA_HOME=/home/wu_being/jdk1.7.0
ZOOKEEPER_HOME=/home/wu_being/zookeeper-3.4.5
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$ZOOKEEPER_HOME/lib
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

export ZOOKEEPER_HOME
export JAVA_HOME
export CLASSPATH
export PATH

这里写图片描述

设置环境变量/home/wu_being/.bashrc文件后,要source 更新一下:
wu_being@JStorm-VirtualBox:~$source /home/wu_being/.bashrc
wu_being@JStorm-VirtualBox:~$source /etc/profile
这里写图片描述

2.1.4 配置zoo.cfg

配置文件存放在$ZOOKEEPER_HOME/conf/目录下,将zoo_sample.cfd文件名称改为zoo.cfg(cp zoo_sample.cfg zoo.cfg), 缺省的配置内容如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes. #####这是我修改后的
dataDir=/home/wu_being/zookeeper-3.4.5/data 
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

配置说明:
tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
这里写图片描述
这里写图片描述

2.1.5 启动zookeeper

当这些配置项配置好后,你现在就可以启动zookeeper了:

wu_being@JStorm-VirtualBox:~/ netstat -at|grep 2181 #查看zookeeper端口
wu_being@JStorm-VirtualBox:~/ netstat -nat #查看端口信息
wu_being@JStorm-VirtualBox:~/zookeeper-3.4.5/bin$ ./zkServer.sh start #启动 
wu_being@JStorm-VirtualBox:~/zookeeper-3.4.5/bin$ jps #查看启动的服务名称
wu_being@JStorm-VirtualBox:~/zookeeper-3.4.5/bin$ ./zkServer.sh stop #关闭

注:jps命令是java jdk中的,启动zkServer也是要先配制好java jdk,不然启动成功也是假现象的!!!

  • jps本身服务名称:4793 Jps
  • zkServer服务名称:4464 QuorumPeerMain

这里写图片描述

启动后要检查 Zookeeper 是否已经在服务,可以通过 netstat -at|grep 2181命令查看是否有 clientPort 端口号在监听服务。并在zookeeper-3.4.5生成data文件夹,data文件夹version-2文件夹和zookeeper_server.pid文件。

这里写图片描述

三 搭建JStorm集群

3.1 安装Python 2.6

-s $HOME/.pythonbrew/etc/bashrc && source $HOME/.pythonbrew/etc/bashrc
pythonbrew install 2.6.7
pythonbrew switch 2.6.7

3.2 安装JDK (1.7 版本)

注意,如果当前系统是64位系统,则需要下载64位JDK,如果是32为系统,则下载32位JDK

3.3 安装JStorm

假设以jstorm-0.9.6.3.zip为例

unzip jstorm-2.1.1.zip
vi ~/.bashrc
export JSTORM_HOME=/home/wu_being/jstorm-2.1.1
export PATH=$PATH:$JSTORM_HOME/bin

注意:wu_being@JStorm-VirtualBox:~$ source .bashrc
这里写图片描述

3.3.1 配置$JSTORM_HOME/conf/storm.yaml

配置项:

1. storm.zookeeper.servers: 表示zookeeper 的地址,
2. nimbus.host: 表示nimbus的地址
3. storm.zookeeper.root: 表示JStorm在zookeeper中的根目录,当多个JStorm共享一个zookeeper时,需要设置该选项,默认即为“/jstorm”
4. storm.local.dir: 表示JStorm临时数据存放目录,需要保证JStorm程序对该目录有写权限
5. java.library.path: Zeromq 和java zeromq library的安装目录,默认"/usr/local/lib:/opt/local/lib:/usr/lib"
6. supervisor.slots.ports: 表示Supervisor 提供的端口Slot列表,注意不要和其他端口发生冲突,默认是68xx,而Storm的是67xx
7. topology.enable.classloader: false, 默认关闭classloader,如果应用的jar与JStorm的依赖的jar发生冲突,比如应用使用thrift9,但jstorm使用thrift7时,就需要打开classloader。建议在集群级别上默认关闭,在具体需要隔离的topology上打开这个选项。

3.3.2 例子

########### These MUST be filled in for a storm configuration  
 storm.zookeeper.servers:  
     - "172.17.21.33"  
 storm.zookeeper.root: "/jstorm"  
 nimbus.host: "172.17.21.33"  
 nimbus.host.start.supervisor: false  
 nimbus.childopts: "-Xmx256m"  
 supervisor.childopts: "-Xmx256m"  
 worker.childopts: "-Xmx128m"  
 storm.local.dir: "%JSTORM_HOME%/data"  
 supervisor.slots.ports:  
    - 6800  
    - 6801  
    - 6802  
    - 6803  

这里写图片描述

3.3.3 在提交jar的节点上执行

#mkdir ~/.jstorm
#cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm

3.4 在tomcat服务器安装JStorm Web UI4

必须使用tomcat 7.0 或以上版本, 注意不要忘记拷贝 ~/.jstorm/storm.yaml

Web UI 可以和Nimbus不在同一个节点

mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
tar -xzf apache-tomcat-7.0.70.tar.gz   ###
cd apache-tomcat-7.0.70
cd webapps 
cp $JSTORM_HOME/jstorm-ui-2.1.1.war ./
mv ROOT ROOT.old  ###
ln -s jstorm-ui-2.1.1 ROOT   ###
cd ../bin
./startup.sh  #####

注意:

  • 下载tomcat 7.x (以apache-tomcat-7.0.70 为例)
  • ln不是 ln -s jstorm-ui-2.1.1.war ROOT 这个要小心
  • startup.sh后,在终端输入jps会多一个服务名称:4777 Bootstrap
  • 在浏览器输入“本地ip:8080”可以在web管理JStorm集群。前提是配制好.jstorm/storm.yaml 文件,并启动zookeeper,最好先启动nimbus和supervisor服务器。

这里写图片描述
这里写图片描述

3.5 启动JStorm

  • 在nimbus 节点上执行 nohup jstorm nimbus &, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误
  • 在supervisor节点上执行 nohup jstorm supervisor &, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误

这里写图片描述

四 更多链接

4.1 Zookeeper知识更多链接

4.2 JStorm知识更多链接

Wu_Being博客声明:本人博客欢迎转载,请标明博客原文和原链接!谢谢!
《在虚拟机搭建JStrom》:
http://blog.csdn.net/u014134180/article/details/51810311

Wu_Being 吴兵博客接受赞助费二维码

如果你看完这篇博文,觉得对你有帮助,并且愿意付赞助费,那么我会更有动力写下去。

目录
相关文章
|
28天前
|
虚拟化
vmware克隆虚拟机后没有ip地址的问题
解决vmware克隆虚拟机后没有内网ip的问题
|
2月前
|
SQL 存储 数据挖掘
【虚拟机数据恢复】VMware虚拟机文件被误删除的数据恢复案例
虚拟机数据恢复环境: 某品牌R710服务器+MD3200存储,上层是ESXI虚拟机和虚拟机文件,虚拟机中存放有SQL Server数据库。 虚拟机故障: 机房非正常断电导致虚拟机无法启动。服务器管理员检查后发现虚拟机配置文件丢失,所幸xxx-flat.vmdk磁盘文件和xxx-000001-delta.vmdk快照文件还在。服务器管理员在尝试恢复虚拟机的过程中,将原虚拟机内的xxx-flat.vmdk删除后新建了一个虚拟机,并分配了精简模式的虚拟机磁盘和快照数据盘,但原虚拟机内的数据并没有恢复。
【虚拟机数据恢复】VMware虚拟机文件被误删除的数据恢复案例
|
Linux 虚拟化 数据安全/隐私保护
VMware使用 - 虚拟机克隆
如果已经安装了一台Linux操作系统,没有必要重新安装,只需要克隆就可以了,有两种方式。
20 0
|
3月前
|
存储 网络协议 虚拟化
如何操作VMware ESXi虚拟机的迁移?
如何操作VMware ESXi虚拟机的迁移?
147 1
|
3月前
|
存储 虚拟化 数据中心
如何操作VMware ESXi虚拟机的克隆?
如何操作VMware ESXi虚拟机的克隆?
65 1
|
2月前
|
Linux 虚拟化 数据安全/隐私保护
【Linux】VMware安装虚拟机- Windows + Linux
【1月更文挑战第20天】【Linux】VMware安装虚拟机- Windows + Linux
|
2天前
|
算法 虚拟化 C++
VMware虚拟机无法自适应和拖拽复制粘贴和共享目录问题
VMware虚拟机无法自适应和拖拽复制粘贴和共享目录问题
23 0
|
3月前
|
Linux 虚拟化
VMware workstation 中centos7虚拟机在nat模式下怎么配置网卡,指定我想要的IP并且可以联网
https://blog.csdn.net/2302_78534730/article/details/132825156?spm=1001.2014.3001.5502
121 0
|
10天前
|
Linux 虚拟化 数据安全/隐私保护
使用VMware安装linux虚拟机
使用VMware安装linux虚拟机
使用VMware安装linux虚拟机
|
24天前
|
Ubuntu 安全 虚拟化
vmware虚拟机运行ubuntu等卡慢的解决办法
vmware虚拟机运行ubuntu等卡慢的解决办法
35 0

相关产品

  • 云消息队列 MQ
  • 云消息队列 Kafka 版
  • 微服务引擎