Storm集群搭建

环境准备

hadoop102                               hadoop103                        hadoop104

zk                                              zk                                       zk

storm                                        storm                                storm

要看zookeeper集群部署跳转到zookeeper集群部署

storm集群部署

1）拷贝jar包到hadoop102的/opt/software目录下

2）解压jar包到/opt/module目录下

[lzl@hadoop102 software]$ tar -zxvfapache-storm-1.1.0.tar.gz -C /opt/module/

3）修改解压后的apache-storm-1.1.0.tar.gz文件名称为storm

[lzl@hadoop102 module]$ mvapache-storm-1.1.0/ storm

4）在/opt/module/storm/目录下创建data文件夹

       [lzl@hadoop102 storm]$ mkdir data

5）修改配置文件

[lzl@hadoop102 conf]$ pwd

/opt/module/storm/conf

[lzl@hadoop102 conf]$ vi storm.yaml

# 设置Zookeeper的主机名称 storm.zookeeper.servers:      - "hadoop102"      - "hadoop103"      - "hadoop104"   # 设置主节点的主机名称 nimbus.seeds: ["hadoop102"]   # 设置Storm的数据存储路径 storm.local.dir: "/opt/module/storm/data"   # 设置Worker的端口号 supervisor.slots.ports:     - 6700     - 6701     - 6702     - 6703

6）配置环境变量

[root@hadoop102 storm]# vi /etc/profile

#STORM_HOME export STORM_HOME=/opt/module/storm export PATH=$PATH:$STORM_HOME/bin

[root@hadoop102 storm]# source /etc/profile

7）分发配置好的Storm安装包

[lzl@hadoop102 storm]$ xsync storm/

8）启动集群

（1）后台启动nimbus

       [lzl@hadoop102storm]$ bin/storm nimbus &

[lzl@hadoop103 storm]$bin/storm nimbus &

[lzl@hadoop104 storm]$bin/storm nimbus &

（2）后台启动supervisor

 [lzl@hadoop102storm]$ bin/storm supervisor &

[lzl@hadoop103 storm]$bin/storm supervisor &

[lzl@hadoop104 storm]$bin/storm supervisor &

（3）启动Storm ui

[atguigu@hadoop102 storm]$bin/storm ui

9）通过浏览器查看集群状态

http://hadoop102:8080/index.html

Storm日志信息查看

1）查看nimbus的日志信息

在nimbus的服务器上

cd /opt/module/storm/logs

tail -100f /opt/module/storm/logs/nimbus.log

2）查看ui运行日志信息

在ui的服务器上，一般和nimbus一个服务器

cd /opt/module/storm/logs

tail -100f /opt/module/storm/logs/ui.log

3）查看supervisor运行日志信息

在supervisor服务上

cd /opt/module/storm/logs

tail -100f /opt/module/storm/logs/supervisor.log

4）查看supervisor上worker运行日志信息

在supervisor服务上

cd /opt/module/storm/logs

tail -100f /opt/module/storm/logs/worker-6702.log

5）logviewer，可以在web页面点击相应的端口号即可查看日志

分别在supervisor节点上执行：

[atguigu@hadoop102 storm]$ bin/storm logviewer&

[atguigu@hadoop103 storm]$ bin/storm logviewer&

[atguigu@hadoop104 storm]$ bin/storm logviewer &

Storm命令行操作

1）nimbus：启动nimbus守护进程

       storm nimbus

2）supervisor：启动supervisor守护进程

       storm supervisor

3）ui：启动UI守护进程。

       storm ui

4）list：列出正在运行的拓扑及其状态

       storm list

5）logviewer：Logviewer提供一个web接口查看Storm日志文件。

       storm logviewer

6）jar：

storm jar 【jar路径】【拓扑包名.拓扑类名】【拓扑名称】

7）kill：杀死名为Topology-name的拓扑

       storm kill topology-name [-wwait-time-secs]

       -w：等待多久后杀死拓扑

8）active：**指定的拓扑spout。

storm activate topology-name

9）deactivate：禁用指定的拓扑Spout。

       storm deactivate topology-name

10）help：打印一条帮助消息或者可用命令的列表。

       storm help

       storm help <command>