【问题标题】:.py or .ipynb file for multiprocessing用于多处理的 .py 或 .ipynb 文件
【发布时间】:2023-02-05 21:37:45
【问题描述】:

.py 文件相比,我更习惯使用 .ipynb 文件。但是,我看到的大多数使用多处理的代码都写在.py 文件中。

基本上我更喜欢在 VScode 中做所有事情而不必处理终端。

使用 Jupyter 笔记本进行多处理有什么缺点吗?

【问题讨论】:

  • 谷歌搜索“jupyter multiprocessing”导致了 Stack Overflow 上的几个问答。你看过他们吗?什么精确的你有没有这些不回答的问题?
  • @ThierryLathuille 有什么理由让人们更喜欢 .py 而不是笔记本来进行多处理?我看过 jupyter 多处理,但出于某种原因,我周围的人在多处理时都使用 .py 文件。

标签: python performance jupyter-notebook multiprocessing


【解决方案1】:

您可以使用 jupyter notebook 进行多处理,使用用 python 脚本编写的相同代码,即 .py 文件。 在性能方面我没有发现任何问题。

人们通常使用 *.py 文件进行多处理,主要是因为它作为脚本运行可能需要很长时间,比如在服务器上测试一些负载,所以为了分配负载,他们可能会使用 python 脚本。而笔记本只是暂时的东西,你想立即看到结果。

此外,您可以尝试运行 python .py 文件,只需通过 python name_of_script.py 即可,无需处理额外的终端内容。 对于退出类型Ctrl-c,您的脚本将退出。 就这样。

【讨论】:

  • 你能建议如何避免必须重新启动内核的问题吗?要采取哪些额外步骤来确保派生的进程被终止? @Lokesh库尔
  • 抱歉,我的坏人,python 内核现在似乎可以处理它,中断它会自动终止生成的进程(至少在浏览器上运行时在 jupyter 中)。
猜你喜欢
  • 2016-07-24
  • 2022-06-26
  • 1970-01-01
  • 2016-10-14
  • 2021-03-22
  • 2022-06-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多