Google DataProc 中的 spark-shell 和 sparkR

Question

我是 Google DataProc 的新手

我们希望通过 spark-shell 或 sparkR 运行一组代码以进行测试。 是否可以连接到 spark 集群并在 google DataProc 中执行 spark-shell 或 sparkR 中的命令？

我查看了doc，似乎我们可以使用 spark-submit 提交作业，但我没有找到与 spark-shell 或 SparkR 相关的信息。

Answer 1

是的。

spark-shell 和 sparkR 安装在 dataproc 集群中的所有虚拟机上，您可以通过 SSH 连接到其中任何一个（我通常使用主节点）并运行 spark-shell 或 sparkR。