【问题标题】:Jupyter notebook : kernel restarts suddenlyJupyter notebook:内核突然重启
【发布时间】:2021-02-26 09:07:09
【问题描述】:

我将 Jupyter 实验室和 Jupyter Notebook 用于我的深度学习程序,因此我进行了一些长时间的运行以训练我的模型。但是几个星期以来,经过数小时的训练,我经常会重新启动内核,这很烦人。此外,服务器控制台或浏览器日志提供的信息很少:

Jupyter-lab 服务器日志:

[I 2021-02-26 00:40:03.756 ServerApp] AsyncIOLoopKernelRestarter: restarting kernel (1/5), keep random ports
kernel 1330ee40-a826-44e2-9be9-f123deeaa1b2 restarted
[I 2021-02-26 00:40:04.070 ServerApp] Starting buffering for 1330ee40-a826-44e2-9be9-f123deeaa1b2:1b7fa111-f2d2-4804-bd90-c81e26562254
[I 2021-02-26 00:40:04.112 ServerApp] Restoring connection for 1330ee40-a826-44e2-9be9-f123deeaa1b2:1b7fa111-f2d2-4804-bd90-c81e26562254

当我使用 Jupyter-notebook 而不是 Jupyter-lab 时,我遇到了同样的问题。

各种说法:

  • 服务器和客户端不在同一台机器上,因此我使用ssh连接到服务器,如here所述。
  • 我在公司代理下工作
  • 我使用 Tensorflow 2 进行深度学习

【问题讨论】:

    标签: python-3.x jupyter-notebook tensorflow2.0 jupyter-lab


    【解决方案1】:

    如果你想确定,你可以在 nohup 模式下运行它(后台进程)。即使您与远程服务器断开连接,它也会在远程服务器上运行您的 jupyter notebook 脚本。

    通过查看这个小教程,您可以在 nohup 模式下运行: https://gist.github.com/33eyes/e1da2d78979dc059433849c466ff5996

    【讨论】:

    • 谢谢这是个好主意,我会在周一尝试,周四给出反馈。但是,我不确定这个解决方案,因为我在服务器端没有断开连接的痕迹,即使 jupyter 进程仍在运行,只是内核正在重新启动。
    【解决方案2】:

    好吧,我找到了错误的原因 -> 我正在运行的代码中肯定有一点内存泄漏,导致程序在数百个 epoch 后崩溃。

    【讨论】:

      猜你喜欢
      • 2021-02-13
      • 2023-01-13
      • 2021-07-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-05-14
      • 1970-01-01
      相关资源
      最近更新 更多