【问题标题】:How can I install the R interpreter for Zeppelin 0.7.3 on Amazon EMR 5.16.0如何在 Amazon EMR 5.16.0 上安装 Zeppelin 0.7.3 的 R 解释器
【发布时间】:2019-01-27 02:18:21
【问题描述】:

当我创建一个带有 emr-5.16.0 版本并包含 Zeppelin 的 EMR 集群时,它会同时安装 R,但是我似乎无法加载解释器。即使在我运行“sudo bash bin/install-interpreter.sh -a”之后它也不会出现。

【问题讨论】:

    标签: r amazon-emr apache-zeppelin


    【解决方案1】:

    终于明白了。从 5.16.0 开始,EMR 不支持开箱即用的 Zeppelin 中的 R,如 here 所述。

    通过设置不包含 Zeppelin 的 EMR 并在 SSH 连接到主节点时运行以下命令,我能够根据需要从源代码构建 Zeppelin:

    sudo yum -y update
    sudo yum -y install R R-devel libcurl-devel openssl-devel git
    sudo R -e "install.packages('devtools', repos = 'http://cran.us.r-project.org')"
    sudo R -e "install.packages('sparklyr', repos = 'http://cran.us.r-project.org')"
    sudo R -e "install.packages('evaluate', repos = 'http://cran.us.r-project.org')"
    sudo R -e "install.packages('knitr', repos = 'http://cran.us.r-project.org')"
    sudo R -e "install.packages('ggplot2', repos = 'http://cran.us.r-project.org')"
    sudo R -e "install.packages(c('devtools','mplot', 'googleVis'), repos = 'http://cran.us.r-project.org');
    require(devtools); install_github('ramnathv/rCharts')"
    
    
    mkdir build
    cd build
    wget http://www.eu.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
    sudo tar -zxf apache-maven-3.3.9-bin.tar.gz -C /usr/local/
    sudo ln -s /usr/local/apache-maven-3.3.9/bin/mvn /usr/local/bin/mvn
    
    git clone https://github.com/apache/zeppelin.git
    cd zeppelin
    git checkout tags/v0.8.0
    
    mvn clean package -DskipTests -Pscala-2.11 -Pr -Dspark.version=2.2.0 -DHadoop.version=2.7.7
    #NEED TO CHANGE PORT IN CONFIG
    #need to set export SPARK_HOME=/usr/lib/spark in zeppelin-env.sh
    
    ./bin/zeppelin-daemon.sh start
    

    【讨论】:

    • 它仍然是为 Zeppelin 安装 R 内核的唯一解决方案吗?
    • @lau 在 EMR 的最新版本中默认仍不可用。
    猜你喜欢
    • 2018-04-13
    • 2020-06-22
    • 2021-03-07
    • 2018-02-27
    • 2019-05-20
    • 2013-11-15
    • 2017-10-20
    • 2015-05-06
    • 1970-01-01
    相关资源
    最近更新 更多