在 Jupyter 笔记本中抑制火花输出的最佳方法是什么？答案

【问题标题】：What is the best way to suppress the spark output in the Jupyter notebook?在 Jupyter 笔记本中抑制火花输出的最佳方法是什么？
【发布时间】：2021-11-13 06:47:16
【问题描述】：

我最近将我的操作系统从 ubuntu 更改为 mac。（4 年多后）

让我很烦恼的一件事是。 spark stdout/stderr 现在打印在笔记本上，而不是只留在控制台内（就像在我的 ubuntu 上一样）。

我尝试禁用 ipython 启动时的警告，但没有成功。 ~/.ipython/profile_default/startup/disable-warning.py

import warnings
warnings.filterwarnings('ignore')

另一方面，我不完全确定这是否是 mac 问题。在我的开发环境设置过程中出现了愚蠢的错误吗？

谢谢！

【问题讨论】：

标签： macos pyspark jupyter-notebook

【解决方案1】：

看起来是新的jupyter版本引起的。我在升级我的 jupyter 后得到了这个输出。我仍然找不到好方法，但这是我的最终解决方法：

%%html
<style>
    div.output_stderr {
    display: none;
}
</style>

【讨论】：