Hadoop集群启动,zookeeper,hive,kafka和flume等相关工具启动
Hadoop集群启动
进入Hadoop的bin目录下,输入:start-all.sh 即可启动你所搭建的集群.
当你看到下列画面时,就成功了(我搭了三个node供参考).
如果你要启动oozie,需要执行此命令：sbin/mr-jobhistory-daemon.sh start historyserver
zookeeper服务的启动
首先进入zookeeper的bin目录下,输入:zkServer.sh start 即可启动zookeeper,
看到下图说明zookeeper启动成功.
注意:三台机器上都要去执行一遍zookeeper的启动.
然后输入:zkServer.sh status 检查启动状态
我的node-1这台机是follower,你可以每天机器上都查看一下状态 ,找到你的leader.
我有一键启动zookeeper的脚本,
所以我不会每台机器都自己去启动,不知道脚本怎么才能和大家分享啊,你们自己去找一下吧,或者我把脚本的内容单独写一篇博客和大家分享一下吧.
如果你有一键启动脚本,输入:sh 你的脚本名.sh 回车即可
启动mysql
mysql可以在任意路径下启动,输入service mysqld start
看到下图就成功开启了mysql.
启动hive
先进入hive目录,后台启动命令为:nohup bin/hive --service hiveserver2 & (推荐使用)
前台启动:bin/hive --service hiveserver2 (可选用,后台启动了,就可以不用前台启动了)
beeline连接hiveserver2,输入如下:
bin/beeline
beeline> !connect jdbc:hive2://node-2:10000
看到下图你就成功连接了.
flume agent启动配置文件
进入flume目录后,启动agent去采集数据,输入:
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
看到下图就成功启动了
安装telent准备测试
我在node-1上输入下列命令(我的flume安装在node-2上):
yum -y install telnet
telnet node-2 44444
node-1上呈现下图为成功.
node-2上呈现下图为成功
hive 启动最简单了
hive只需要在安装有hive的虚拟机上启动,输入:hive,即可,在任何目录下都可以.
就先到这里吧,如果有什么疑问可以给我留言.
kafuka的后台启动
确保你的zookeeper集群已启动的情况下,集群中所有机器上都需要启动一遍.
进入kafuka的目录下输入命令:nohup bin/kafka-server-start.sh config/server.properties &