【问题标题】:connecting to spark standalone cluster does not work within RStudio连接到 spark 独立集群在 RStudio 中不起作用
【发布时间】:2018-09-04 14:18:41
【问题描述】:

我创建了一个运行 ubuntu 服务器 16.04 的虚拟机。我已经安装了 spark 以及所有依赖项和先决条件。我的 Spark 集群在虚拟机上运行,​​所有的 worker 和 master 都可以通过 start-all.sh 启动。
现在,我正在尝试使用本地计算机上的 Rstudio 将 sparkR 作业提交到此集群。在调用 IP:8080 主 webUI 时,我使用 master="spark://192.168.0.105:7077" 指定了 sparkContext 以连接到显然正在运行的集群。是否有任何配置,已经指定,从另一个设备调用主设备,这不是集群的一部分?

R中的错误是:

handleErrors(returnStatus, conn) 中的错误: java.lang.IllegalArgumentException:要求失败:只能在正在运行的 MetricsSystem 上调用 getServletHandlers

【问题讨论】:

  • 您是否在本地计算机上安装了sparklyr
  • 我有 sparklyr 和 sparkR 并且两者都没有执行我的工作
  • 8080 通常是 Ambari,这通常意味着 HDP 和 Yarn... 如果是这样,请尝试 master="yarn://192.168.0.105:7077"
  • 我认为是 master="yarn-client://192.168.0.105:7077" 用于 spark 版本
  • spark://192.168.0.105:7077 确实可以连接到 spark master,集群管理器 master 正在分发作业,但它们从未被执行。

标签: r apache-spark rstudio ubuntu-16.04 sparkr


【解决方案1】:

您可以尝试使用 Livy rest api 接口。 https://livy.incubator.apache.org/

sparklyr - Connect remote hadoop cluster

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-09-17
    • 2015-04-30
    • 2018-02-24
    • 2019-01-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多