Tensorflow GPU 应用程序崩溃 Jupyter notebook 内核答案

【问题标题】：Tensorflow GPU application crashes Jupyter notebook kernelTensorflow GPU 应用程序崩溃 Jupyter notebook 内核
【发布时间】：2017-06-30 16:33:29
【问题描述】：

我们正在使用多个 Jupyter 笔记本在 GPU 上运行 TensorFlow 应用程序。每隔一段时间，其中一次运行就会使笔记本崩溃，并发出简单的通知“内核已崩溃...”。

当我们将代码放入 python .py 文件时，stderr 输出为

F tensorflow/core/kernels/conv_ops_3d.cc:369] Check failed:   stream->parent()->GetConvolveAlgorithms(&algorithms)
Aborted

在另一次运行中，stderr 报告：

F tensorflow/core/common_runtime/gpu/gpu_util.cc:296] GPU->CPU Memcpy failed

问题在于 tensorflow 应用程序占用了大量内存。在 Linux 中，您可以运行 top 来查看发生了什么。在我们的机器上，我们看到每个 tensorflow 进程都在抓取0.55t！

当您在 Jupyter 笔记本中运行进程并且不关闭笔记本时，笔记本不会释放内存。在某些时候，您将运行一个无法访问内存的进程，它会死掉。如果您在笔记本中运行，它只会告诉您内核已死。

有人可以帮忙吗？

【问题讨论】：

标签： python tensorflow jupyter-notebook tensorflow-gpu

【解决方案1】：

一个建议是在导入 tensorflow 之前放置以下 sn-p：

import os
os.environ["CUDA_VISIBLE_DEVICES"]="-1"

在@Nicolas 评论后添加

是的，这会禁用 GPU！这不是我们想要的。

【讨论】：

为了清楚起见，sn-p 将禁用使 GPU 卡对 TensorFlow 进程不可见，因此 TensorFlow 不会在 GPU 上运行。