【发布时间】:2019-01-27 02:18:21
【问题描述】:
当我创建一个带有 emr-5.16.0 版本并包含 Zeppelin 的 EMR 集群时,它会同时安装 R,但是我似乎无法加载解释器。即使在我运行“sudo bash bin/install-interpreter.sh -a”之后它也不会出现。
【问题讨论】:
标签: r amazon-emr apache-zeppelin
当我创建一个带有 emr-5.16.0 版本并包含 Zeppelin 的 EMR 集群时,它会同时安装 R,但是我似乎无法加载解释器。即使在我运行“sudo bash bin/install-interpreter.sh -a”之后它也不会出现。
【问题讨论】:
标签: r amazon-emr apache-zeppelin
终于明白了。从 5.16.0 开始,EMR 不支持开箱即用的 Zeppelin 中的 R,如 here 所述。
通过设置不包含 Zeppelin 的 EMR 并在 SSH 连接到主节点时运行以下命令,我能够根据需要从源代码构建 Zeppelin:
sudo yum -y update
sudo yum -y install R R-devel libcurl-devel openssl-devel git
sudo R -e "install.packages('devtools', repos = 'http://cran.us.r-project.org')"
sudo R -e "install.packages('sparklyr', repos = 'http://cran.us.r-project.org')"
sudo R -e "install.packages('evaluate', repos = 'http://cran.us.r-project.org')"
sudo R -e "install.packages('knitr', repos = 'http://cran.us.r-project.org')"
sudo R -e "install.packages('ggplot2', repos = 'http://cran.us.r-project.org')"
sudo R -e "install.packages(c('devtools','mplot', 'googleVis'), repos = 'http://cran.us.r-project.org');
require(devtools); install_github('ramnathv/rCharts')"
mkdir build
cd build
wget http://www.eu.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
sudo tar -zxf apache-maven-3.3.9-bin.tar.gz -C /usr/local/
sudo ln -s /usr/local/apache-maven-3.3.9/bin/mvn /usr/local/bin/mvn
git clone https://github.com/apache/zeppelin.git
cd zeppelin
git checkout tags/v0.8.0
mvn clean package -DskipTests -Pscala-2.11 -Pr -Dspark.version=2.2.0 -DHadoop.version=2.7.7
#NEED TO CHANGE PORT IN CONFIG
#need to set export SPARK_HOME=/usr/lib/spark in zeppelin-env.sh
./bin/zeppelin-daemon.sh start
【讨论】: