Pyspark 内核无法在 Jupyterhub 上启动答案

【问题标题】：Pyspark kernel doesnt start on JupyterhubPyspark 内核无法在 Jupyterhub 上启动
【发布时间】：2020-06-22 19:52:50
【问题描述】：

Jupyterhub Pyspark 内核过去运行良好，但现在无法启动或处于内核连接状态（不会进入空闲状态），但不会在单元格中运行任何代码。它在 Centos 上使用带有 PAM auth 的 localprocess spawner。在 jupyterhub 日志中，我们看到这些消息：

[I 2020-03-10 15:13:08.644 SingleUserNotebookApp restarter:110] KernelRestarter: restarting kernel (4/5), new random ports
Assertion failed: rc == 0 (src/socket_poller.cpp:41)
[W 2020-03-10 15:13:11.666 SingleUserNotebookApp restarter:100] KernelRestarter: restart failed
[W 2020-03-10 15:13:11.666 SingleUserNotebookApp kernelmanager:127] Kernel 0148c77d-143a-4721-90e7-0d9a41a878c4 died, removing from map.

有什么想法吗？

【问题讨论】：

标签： pyspark jupyterhub

【解决方案1】：

通过在基础 conda 环境中重新安装 sparkmagic 解决了这个问题：

(base) [root@]# pip install sparkmagic

【讨论】：