在 Cloudera 上与 Livy 的 SparkMagic PySpark3 会话答案

【问题标题】：SparkMagic PySpark3 session with Livy on Cloudera在 Cloudera 上与 Livy 的 SparkMagic PySpark3 会话
【发布时间】：2021-09-29 06:52:02
【问题描述】：

我正在尝试使用在 Cloudera 集群上运行的带有 Livy 的 python3 运行 Jupyterhub pyspark 内核会话。

火花会话结束时没有任何有意义的错误，Livy 日志有以下内容：

21/07/21 12:28:09 INFO yarn.Client: Submitting application application_1621851397242_29173 to ResourceManager
21/07/21 12:28:09 INFO impl.YarnClientImpl: Submitted application application_1621851397242_29173
21/07/21 12:28:09 INFO yarn.Client: Application report for application_1621851397242_29173 (state: ACCEPTED)
21/07/21 12:28:09 INFO yarn.Client:
   client token: N/A
   diagnostics: N/A
   ApplicationMaster host: N/A
   ApplicationMaster RPC port: -1
   queue: root.users.username
   start time: 1626870489430
   final status: UNDEFINED
   tracking URL: http://hostname/proxy/application_1621851397242_29173/
   user: usenname
21/07/21 12:28:09 INFO util.ShutdownHookManager: Shutdown hook called
21/07/21 12:28:09 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-1483a0d9-2a27-4667-94c0-0320c6d2b0fa
21/07/21 12:28:09 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-a0c7670a-a2a1-46f0-bedd-83d0f4ea0086

Livy在yarn-cluster模式下运行，spark2-conf/spark-defaults.conf添加了如下配置：

spark.yarn.appMasterEnv.PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda-2020.11/bin/python spark.executorEnv.PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda-2020.11/bin/python

Anaconda-2020.11 基于 Python 3.8.5（默认，2020 年 9 月 4 日，07:30:14）。

Pyspark kernel.json 有如下配置：

{
  "argv": [
    "python",
    "-m",
    "sparkmagic.kernels.pysparkkernel.pysparkkernel",
    "-f",
    "{connection_file}"
  ],
  "display_name": "PySpark",
  "language": "python"
}

我可能在这里缺少什么配置？我应该使用另一个 jupyterhub 内核吗？

最后要补充的是，在另一个基于 Python 2.7.16 |Anaconda, Inc.| 的 Anaconda 环境中一切正常。（默认，2019 年 3 月 14 日，21:00:58）。当我尝试使用较新的 Anaconda 环境时会出现此问题。

【问题讨论】：

标签： python apache-spark pyspark jupyterhub livy

【解决方案1】：

在这个话题上花了一些时间后，我终于找到了解决方案。

首先spark、python和livy版本应该兼容。

例如，就我而言，我在 Cloudera 上有 spark 2.4.x，这意味着我只能使用 python 3.6.x max。尽管 spark 文档指出 spark 2.4.x 也支持 python 3.8.x，但事实并非如此。 Spark 中的 Python 3.8.x 支持从 spark 3.x.x 开始。

现在对于 livy 有另一个故事，在撰写此答案时，最新版本的 livy 0.7.1 支持 spark 2.4.x。 Livy 0.7.1 和 spark 3.x.x 的兼容性问题可以通过使用 2.12 版本重新编译 livy scala 代码来绕过。

最后，所有组件（spark、python 和 livy）都由兼容版本对齐，在我的情况下，这些是（相应的 2.4.x、3.6.x、0.7.1），jupyterhub 中的 pyspark 会话是使用 python 成功创建的3.6.x.

注意几点：

python 应该在 Cloudera 主机上更新
如果 kernel.json 使用“python”命令/别名，请确保“python”别名映射到 Cloudera 主机上的 puthon 3.6.x
将“python”别名映射到 python 3.6.x 版本，可能会破坏 Cloudera 集群上的东西
spark magic 映像或 jupytehub 内核无需更改

【讨论】：