Google Colab 导致本地内存使用率高？答案

【问题标题】：Google Colab causes high memory usage in local?Google Colab 导致本地内存使用率高？
【发布时间】：2020-08-24 23:27:16
【问题描述】：

我现在正在 Google Colab 上进行模型训练。就在一分钟前，本地系统消息弹出，说内存即将耗尽（同时我没有运行任何东西）。

现在我的内存使用量是 40%，但是每次打开 Colab 时，本地内存使用量峰值达到 80 并且不断增加。 Colab 页面冻结，因此我无法停止当前运行时。

这怎么可能？ Colab 不应该是一个在线环境吗？可以和tqdm 包有关吗？因为以前的版本运行良好，所以这种情况只有在我添加tqdm 以在屏幕上显示进度条时才会出现。

【问题讨论】：

类似的症状，使用 PyTorch 和 PyTorch Lightning。对我来说，似乎每个验证步骤都会在笔记本中产生一个新的 tqdm 条，以及其他问题。我用压缩器绕过了 Rey 之类的问题，通过将 progress_bar_refresh_rate 减少（实际上增加）到 50 并使用 check_val_every_n_epoch 将完全验证设置为可能每 50 个 epoch 一次。仍然不知道根本原因是什么。

【解决方案1】：

您是否曾经将 Colab 实例连接到本地 Jupyter 实例？ Colab 应该默认使用托管环境资源而不是本地资源。 Colab 中为 python 预安装了 tqdm 包，并且在我的笔记本中运行良好。你能分享一个最小可重现的例子吗？

首先，我会尝试通过运行查看笔记本中的内存

!cat /proc/meminfo

Colab 实例的总内存应在 12-30 Gb 之间。如果它跟踪本地内存，你应该可以分辨出来。

接下来，我会尝试保存您的代码，关闭 Colab，然后重新打开它。确保重新连接时，在连接下拉菜单（右上角，GDrive 菜单栏下方）中选择“连接到托管运行时”。

【讨论】：

谢谢。我没有解决这个问题。但是在 Colab 自动停止我的会话后，我切换到了progressbar。而这种情况并没有再次发生。如果再次出现类似的情况，我会尝试跟踪内存。
祝你好运！如果您确实找到了解决方案/再次遇到问题，请在此处发布您的解决方案。虽然我还没有遇到过这个问题，但其他人遇到过，如果能找到解决方案就好了。
遇到同样的问题，即使重新启动 - 你有没有想过？即使选择了远程运行时，似乎计算是在本地进行的