安装virtualbox
下载安装包
下载完成之后运行,一直下一步即可,按需求可更改路径。
安装Ubuntu
新建虚拟机
- 打开virtualbox,控制—>新建。
- 设置名字,路径
- 分配内存,不宜过小,2-3G即可
- 选择现在创建虚拟硬盘,然后一直下一步
- 按需分配内存,我这里分配了20G
- 设置iso文件(下载地址)路径,进入虚拟机
如果感觉显示界面太小,视图—>自动缩放
安装系统
设置自动缩放后可能需要修改分辨率,右键—>display setting—>按照电脑选择合适的分辨率
- 设置一下安装语言,然后一直continue,中途可能分辨率会被修改,安装上述方法再设置一遍即可
- 当出现如下界面时选择其他选项
- 新建分区表
- 左下角加号键,512M、主分区、空间起始位置、交换空间
- 单机空闲然后左下角加号键,默认剩下的全部空间、逻辑分区、空间起始位置、Ext4日志文件系统、挂载点 \
- 开始安装
- 地点默认shanghai
- 设置用户名和密码
接下来,就是一段漫长的等待时间,安装完成后重启即可
安装hadoop(伪分布式安装)
括号中为linux指令
安装ssh
- 安装ssh(apt install openssh-server)
- 设置免密开启
- 开启ssh(ssh localhost)第一次会提示输入yes确认
- (cd ~/.ssh/)
- (ssh -****** -t rsa)然后一直回车
- (cat ./id_rsa.pub >> ./authorized_keys)最后测试是否成功
安装Java
- 安装Java(sudo apt install openjdk-8-jre openjdk-8-jdk)按需求和实际情况选择版本
- 配置JAVA_HOME
- vim ~/.bashrc(没有vim自行安装)
- 在文件最上方加(JAVA_HOME=Java路径),Java路径可用命令(dpkg -L openjdk-8-jdk | grep ‘/bin/’)查看
- (source ~/.bashrc)
- (echo $JAVA_HOME)测试是否成功
安装hadoop
-
下载hadoop(我这里下载的是最新的3.3.0版本)
- 解压tar包(tar -zxf ~/下载/hadoop-3.3.0.tar.gz -C /usr/local)
- 修改文件夹名和权限(cd /usr/local)(sudo mv ./hadoop-3.3.0/ ./hadoop)(sudo chown -R 用户名 ./hadoop/)
- 测试是否成功(hadoop/bin/hadoop version)
- 修改配置文件内容
- 切换当前所在目录(cd hadoop/etc/hadoop)
- (vim core-site.xml)
- (vim hdfs-site.xml)
- 切换当前所在路径(cd …/…)
- 格式化(./bin/hdfs namenode -format)
- 添加path
- (vim /etc/profile)
- 最下面加(PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin)
- (source /etc/profile)
hadoop安装完毕,开启服务指令(start-dfs.sh),关闭服务指令(stop-dfs.sh)