【问题标题】:Dataproc: Spark in Cluster Mode from a NotebookDataproc:来自笔记本的集群模式下的 Spark
【发布时间】:2020-11-13 20:56:48
【问题描述】:

我想知道,Dataproc 是否可以在 Jupyter Notebook 中以集群模式使用 Spark?

如果是,它是如何工作的?是否有 Livy API + Spark Magic 或其他解决方案?

谢谢!

【问题讨论】:

标签: apache-spark jupyter-notebook jupyter jupyter-lab google-cloud-dataproc


【解决方案1】:

为了节省任何来这里的人的时间 - 这可能在某些时候有效,但是您可以从初始化操作中获得的可用 Livy 版本不支持 Spark 3 / Scala 2.12。 SparkMagic + DataProc 和 Livy 本身几乎都死了(自 2021 年 2 月以来没有发布)。

【讨论】:

    【解决方案2】:

    Dataproc 不提供开箱即用的功能,但您可以使用 Livy initialization action 进行设置。

    也就是说,将 Jupyter 与 Dataproc 结合使用的推荐方法是通过 Dataproc Hub,它可以生成单用户 Dataproc 集群来托管 Jupyter 和 JupyterLab 笔记本环境。

    【讨论】:

      猜你喜欢
      • 2020-02-07
      • 2016-07-14
      • 1970-01-01
      • 2021-04-29
      • 1970-01-01
      • 2021-03-13
      • 2017-09-10
      • 2017-09-10
      • 1970-01-01
      相关资源
      最近更新 更多