【发布时间】:2018-09-04 14:18:41
【问题描述】:
我创建了一个运行 ubuntu 服务器 16.04 的虚拟机。我已经安装了 spark 以及所有依赖项和先决条件。我的 Spark 集群在虚拟机上运行,所有的 worker 和 master 都可以通过 start-all.sh 启动。
现在,我正在尝试使用本地计算机上的 Rstudio 将 sparkR 作业提交到此集群。在调用 IP:8080 主 webUI 时,我使用 master="spark://192.168.0.105:7077" 指定了 sparkContext 以连接到显然正在运行的集群。是否有任何配置,已经指定,从另一个设备调用主设备,这不是集群的一部分?
R中的错误是:
handleErrors(returnStatus, conn) 中的错误: java.lang.IllegalArgumentException:要求失败:只能在正在运行的 MetricsSystem 上调用 getServletHandlers
【问题讨论】:
-
您是否在本地计算机上安装了
sparklyr? -
我有 sparklyr 和 sparkR 并且两者都没有执行我的工作
-
8080通常是 Ambari,这通常意味着 HDP 和 Yarn... 如果是这样,请尝试master="yarn://192.168.0.105:7077" -
我认为是
master="yarn-client://192.168.0.105:7077"用于 spark 版本 -
spark://192.168.0.105:7077 确实可以连接到 spark master,集群管理器 master 正在分发作业,但它们从未被执行。
标签: r apache-spark rstudio ubuntu-16.04 sparkr