第1天Python实战Spark大数据分析及调度-开发环境配置

主机名	ip	配置	系统
heboan-hadoop-000	10.1.1.15	8C/8G	CentOS7.7

工具包

配置本机ssh免密

时间校准

文件描述符优化

安装jdk

tar xf jdk-8u231-linux-x64.tar.gz -C /srv/
vim ~/.bash_profile
    export JAVA_HOME=/srv/jdk1.8.0_231
    export PATH=$JAVA_HOME/bin:$PATH
source ~/.bash_profile

安装maven

tar xf apache-maven-3.6.3-bin.tar.gz -C /srv/
vim ~/.bash_profile
    export MAVEN_HOME=/srv/apache-maven-3.6.3
    export PATH=$MAVEN_HOME/bin:$PATH
source ~/.bash_profile

#更改本地仓库存路径
mkdir /data/maven_repository
vim /srv/apache-maven-3.6.3/conf/settings.xml

第1天Python实战Spark大数据分析及调度-开发环境配置

安装python3

yum install gcc gcc-c++ openssl-devel readline-devel unzip -y
tar xf Python-3.6.10.tgz
cd Python-3.6.10
./configure    --prefix=/srv/python36 --enable-optimizations
make && make install

vim ~/.bash_profile
    export PATH=/srv/python36/bin:$PATH
source ~/.bash_profile

安装scala

tar xf scala-2.11.8.tgz -C /srv/
vim ~/.bash_profile
    export SCALA_HOME=/srv/scala-2.11.8
    export PATH=$SCALA_HOME/bin:$PATH
source ~/.bash_profile

部署hadoop

下载安装

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
tar xf hadoop-2.6.0-cdh5.7.0.tar.gz -C /srv/
vim ~/.bash_profile
    export HADOOP_HOME=/srv/hadoop-2.6.0-cdh5.7.0
    export PATH=$HADOOP_HOME/bin:$PATH
source ~/.bash_profile

配置hadoop

cd /srv/hadoop-2.6.0-cdh5.7.0/etc/hadoop

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/srv/jdk1.8.0_231

hadoop-env.sh