1.上传hadoop(切记在hadoop用户下)

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

1.解压缩 tar -xzfhadoop-2.7.5.tar.gz 

linux Hadoop环境变量安装及应用

1.配置环境变量

(1)首先进入hadoop的根目录

linux Hadoop环境变量安装及应用

(2)配置HADOOP_HOME

linux Hadoop环境变量安装及应用

查看 bashrc文件

linux Hadoop环境变量安装及应用

(3)配置HADOOP_CONF_DIR


linux Hadoop环境变量安装及应用

(4)配置PATH vi ~/.bashrc (删除上面的PATH,重新写入一个新的)

exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

linux Hadoop环境变量安装及应用


vi 进入环境变量配置文件,添加上面圈选部分,:wq保存退出(PATH路径好像要在最底下,不然PATH无法使用$JAVA_HOME、$HADOOP_HOME路径)

(5)source更新文件

(6)输入hadoop测试环境变量生效了没,证明生效


linux Hadoop环境变量安装及应用

一.搭建hadoop

1.配置静态IP 

(1)切换root用户(否则下面的操作没有权限)

linux Hadoop环境变量安装及应用

(2)查看你的网段

linux Hadoop环境变量安装及应用

(3)vi/etc/sysconfig/network-scripts/ifcfg-ens33(这里的33不是我的网段!!!)

修改BOOTPROTO=static        onroot = yes

添加

IPADDR=192.168.33.110 (33设置成你的网段,最后随便设置,请牢记这个ip)

NETMASK=255.255.255.0

GATEWAY=192.168.33.2(这里的33也请改成你的网段)

DNS1=202.106.0.20

linux Hadoop环境变量安装及应用

(4)重启network        systemctl restart network

linux Hadoop环境变量安装及应用

(5)输入 ssh 192.168.33.110,看看配置的生效了没

linux Hadoop环境变量安装及应用


输入用户和密码成功登陆上了,证明整成功了

2.修改主机名和映射

(1)切换root用户,修改需要权限

linux Hadoop环境变量安装及应用

(2)修改主机名 vi/etc/hostname

保存退出

(3)修改主机映射 vi /etc/hosts


linux Hadoop环境变量安装及应用

保存退出

(4)重启

linux Hadoop环境变量安装及应用

(5)修改window下的映射

linux Hadoop环境变量安装及应用

在桌面打开这个文件(记事本),输入以下内容,记住一定输入你配置的静态ip,保存关闭

linux Hadoop环境变量安装及应用


将桌面的文件拖到原来的文件夹下

linux Hadoop环境变量安装及应用

选择替换

linux Hadoop环境变量安装及应用

以管理员继续


linux Hadoop环境变量安装及应用

完成

3.修改配置文件

(1)重新连上linux


linux Hadoop环境变量安装及应用

(1)进入配置目录

linux Hadoop环境变量安装及应用

(3)配置 core-site.xml

在configuration添加以下内容 然后保存退出

<property>

<name>fs.defaultFS</name>

<value>hdfs://python2:9000</value>

</property>

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

(1)配置hdfs-site.xml

在configuration添加以下内容 然后保存退出

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

 

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///home/hadoop/opt/tmp/dfs/name</value>

</property>

 

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop/opt/tmp/dfs/data</value>

</property>

 

<property>

<name>dfs.namenode.http-address</name>

<value>python2:50070</value>

</property>

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

(5)配置mapred-site.xmll

ll查看当前目录会发现没有mapred-site.xml文件,只有一个mapred-site.xml.template的文件,我们复制一份命名为mapred-site.xml: cpmapred-site.xml.template mapred-site.xml


linux Hadoop环境变量安装及应用

在configuration添加以下内容 然后保存退出

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

(6)配置yarn-site.xml

在configuration添加以下内容 然后保存退出

<property>

<name>yarn.resourcemanager.hostname</name>

<value>python2</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

(7)修改 slaves

slaves

配置datanode的主机名称

python2

linux Hadoop环境变量安装及应用

1.关闭防火墙和selinux

切换到root用户

关闭防火墙

临时关闭:systemctlstop firewalld

永久关闭:systemctldisable firewalld

查看状态:systemctlstatus firewalld

关闭selinux

临时关闭:setenforce0

永久关闭:vi/etc/selinux/config

修改 SELINUX=disabled

getenforce:查看状态

 

切换到root用户


linux Hadoop环境变量安装及应用

关闭防火墙

linux Hadoop环境变量安装及应用

关闭selinux

linux Hadoop环境变量安装及应用

重启机器 reboot

linux Hadoop环境变量安装及应用

重新连接,登录hadoop

linux Hadoop环境变量安装及应用

查看防火墙和selinux状态

linux Hadoop环境变量安装及应用


linux Hadoop环境变量安装及应用

5.执行hdfs文件系统格式化:hdfsnamenode -format

6.配置ssh无密码登录


linux Hadoop环境变量安装及应用

输入ssh-****** -t rsa  一直回车

linux Hadoop环境变量安装及应用

ssh-copy-id 你想登录到的计算机名 输入hadoop的密码

linux Hadoop环境变量安装及应用

启动服务         start-dfs.sh(如果没有配置ssh 无密码登录,那么这里会一直提示输入密码)

linux Hadoop环境变量安装及应用

查看启动的服务 jps

linux Hadoop环境变量安装及应用

start-yarn.sh 及jps

linux Hadoop环境变量安装及应用

1.浏览器访问,输入python2:50070

linux Hadoop环境变量安装及应用


linux Hadoop环境变量安装及应用


成功显示!

七.文件上传

1.创建一个目录 hadoop fs-mkdir -p /user/hadoop

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

1.文件上传

新建一个文件


linux Hadoop环境变量安装及应用

写入内容

linux Hadoop环境变量安装及应用


保存退出(快捷键 esc-shift(按住)-z-z)


linux Hadoop环境变量安装及应用

上传

linux Hadoop环境变量安装及应用

查看


linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用linux Hadoop环境变量安装及应用linux Hadoop环境变量安装及应用

八.Anaconda的安装

1.上传


linux Hadoop环境变量安装及应用

1.安装前需要安装bzip2  yum -y install bzip2

(1)需要root用户,切换用户

linux Hadoop环境变量安装及应用

(2)yum -y install bzip2 安装bzip2


linux Hadoop环境变量安装及应用

(3)退出root用户

linux Hadoop环境变量安装及应用

3.开始安装Anaconda  bash Anaconda3-5.0.1-Linux-x86_64.sh


linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

输入yes

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用

等待

linux Hadoop环境变量安装及应用

完成

linux Hadoop环境变量安装及应用

4.更新环境变量

linux Hadoop环境变量安装及应用

5.查看jupter地址 jupyter-notebook --ip python2

linux Hadoop环境变量安装及应用

6.进浏览器,输入你复制的地址

linux Hadoop环境变量安装及应用

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-04-09
  • 2022-02-09
  • 2021-12-28
  • 2021-05-18
  • 2021-12-02
  • 2021-11-06
猜你喜欢
  • 2021-06-28
  • 2021-11-07
  • 2022-12-23
  • 2021-10-02
  • 2022-01-22
  • 2021-07-14
相关资源
相似解决方案