粤飞的Hadoop集群启动命令(包括hdfs, Mysql, zookeeper, hive, hbase, spark, zookeeper, kafka)

创建目录

 

hadoop fs -mkdir/input

 

查看

 

hadoop fs  -ls

 

递归查看

 

hadoop fs ls -R

 

上传

 

hadoop fs -put

 

下载

 

hadoop fs -get

 

删除

 

hadoop fs -rm

 

从本地剪切粘贴到hdfs

 

hadoop fs -moveFromLocal /input/xx.txt /input/xx.txt

 

从hdfs剪切粘贴到本地

 

hadoop fs -moveToLocal /input/xx.txt /input/xx.txt

 

追加一个文件到另一个文件到末尾

 

hadoop fs -appedToFile ./hello.txt /input/hello.txt

 

查看文件内容

 

hadoop  fs -cat /input/hello.txt

 

显示一个文件到末尾

 

hadoop fs -tail /input/hello.txt

 

以字符串的形式打印文件的内容

 

hadoop fs -text /input/hello.txt

 

修改文件权限

 

hadoop fs -chmod 666 /input/hello.txt

 

修改文件所属

 

hadoop  fs -chown user.user  /input/hello.txt

 

从本地文件系统拷贝到hdfs里

 

hadoop  fs -copyFromLocal /input/hello.txt /input/

 

从hdfs拷贝到本地

 

hadoop  fs -copyToLocal /input/hello.txt /input/

 

从hdfs到一个路径拷贝到另一个路径

 

hadoop  fs -cp /input/xx.txt /output/xx.txt

 

从hdfs到一个路径移动到另一个路径

 

hadoop  fs -mv /input/xx.txt /output/xx.txt

 

统计文件系统的可用空间信息

 

hadoop  fs -df -h /

 

统计文件夹的大小信息

 

hadoop  fs -du -s -h /

 

统计一个指定目录下的文件节点数量

 

hadoop fs -count /input

 

设置hdfs的文件副本数量

hadoop  fs -setrep 3 /input/xx.txt

hadoop :

格式化命令 :

 

hadoop namenode -format

 

启动命令 :

 

start-all.sh

 

停止命令 :

 

stop-all.sh

 

Hdfs : (其实就是打开hadoop 先进入Hadoop目录,再执行以下命令:)

启动命令 :

 

start-dfs.sh 

 

停止命令:

 

stop-dfs.sh

 

yarn:

启动命令:

 

start-yarn.sh 

 

停止命令:

 

stop-yarn.sh

 

MySql :

启动命名:

 

service mysql start

 

验证是否已启动:

 

service mysql status

 

启动命令:

 

mysql -u root -p

 

粤飞的Hadoop集群启动命令(包括hdfs, Mysql, zookeeper, hive, hbase, spark, zookeeper, kafka)

zookeeper:(进入到zookeeper目录下)

启动命令:

 

bin/zkServer.sh start

 

停止命令:

 

bin/zkServer.sh stop

 

如果结束不了ZookeeperMain,那么进入zookeeper的bin目录:

 

sh zkServer.sh stop

 

(因为发现这个进程kill解决不了!!!)

Kafka:(进入到Kafka目录下)

启动命令:

常规模式启动kafka:

 

bin/kafka-server-start.sh config/server.properties

 

进程守护模式启动kafka:

 

bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

 

结束Kafka:

 

bin/kafka-server-stop.sh

 

一定要先启动ZooKeeper 再启动Kafka 顺序不可以改变。先关闭kafka ,再关闭zookeeper

flume: 进入到bin目录下:

启动命令:

 

bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/file-flume-kafka.conf &

 

hive :启动命令 : 进入到hive目录 直接输入

 

bin/hive  

 

hbase:先进入到hbase目录:

启动命令 :

 

bin/start-hbase.sh

 

停止命令:

 

bin/stop-hbase.sh

 

spark :

启动命令:第一步:进入spark的sbin目录 把spark的重要部件启动起来:

 

./start-all.sh

 

粤飞的Hadoop集群启动命令(包括hdfs, Mysql, zookeeper, hive, hbase, spark, zookeeper, kafka)

输入jps查看:

主节点是否有Master子节点是否有Work

有则表示已启动

第二部:进入到spark的bin目录下:

 

spark-shell

相关文章: