hadoop


一、搭建Hadoop环境

我使用docker搭建hadoop环境(mac电脑),具体过程如下:
(1)使用homebrew安装docker
使用命令:brew cask install docker

使用docker搭建hadoop环境

(2)在docker上安装hadoop
搜索hadoop:命令docker search hadoop
安装stars最多的那个:命令docker pull sequenceiq/hadoop-docker

使用docker搭建hadoop环境

(3)进入hadoop
命令cd $HADOOP_PREFIX

使用docker搭建hadoop环境

二、运行第一个Hadoop程序

(1)进入相应目录后启动HDFS的进程服务
进入sbin目录,运行start-dfs.sh

使用docker搭建hadoop环境

(2)
创建一个txt文件,并写入内容
命令:touch my_wordcount.txt
命令:vi my_wordcount.txt

上传到云端并查看
命令:bin/hdfs dfs -mkdir -p /data/input
命令:bin/hdfs dfs -put my_wordcount.txt /data/input
命令:bin/hdfs dfs -ls /data/input

使用docker搭建hadoop环境

(3)运行样例程序
命令:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount my_wordcount.txt my_wordcountout

使用docker搭建hadoop环境

(4)查看结果
使用docker搭建hadoop环境

相关文章: