【问题标题】:How to free up space in disk on Colab TPU?如何在 Colab TPU 上释放磁盘空间?
【发布时间】:2020-03-23 23:00:31
【问题描述】:

我正在 Google Colab 上训练一些深度学习模型,运行时类型设置为 TPU。 RAM 和磁盘状态显示我已使用 Colab 上的大部分磁盘存储空间。有没有办法重置它?或者删除一些东西以释放更多的磁盘空间?我知道我可以换成 GPU,这会给我更多的磁盘空间,但是,我的模型需要很长时间才能改变,所以我真的很想继续使用 TPU。提前致谢!

【问题讨论】:

标签: deep-learning storage google-colaboratory tpu


【解决方案1】:

rm -rf 可能会删除一些地方并回收一些空间。

  • 5.6G 来自 /usr/local/lib/python2.7
  • 5.3G 来自 /swift
  • 3.0G 来自 /usr/local/cuda-10.1
  • 3.0G 来自 /usr/local/cuda-10.0
  • 2.1G 来自 /tensorflow-2.0.0
  • 1.3G 来自 /usr/local/lib/python3.6/dist-packages/torch
  • 788M 来自 /opt/nvidia
  • 474M 来自 /usr/local/lib/python3.6/dist-packages/pystan
  • 423M 来自 /usr/local/lib/python3.6/dist-packages/spacy

【讨论】:

  • 空间没有被添加到可用空间中,即使在成功删除之后
  • @jkr 是正确的,但是我使用 pathlib 脚本检查了目录的整体大小,它确实下降了。去掉那些后大约一半。 (我还删除了 Cuda 11)。不确定这在使用空间时是否重要,但它正在被删除。
【解决方案2】:

我认为没有办法让您在首次打开 Colab 文档时腾出更多空间。已经存在的东西是有原因的,它可以运行您的环境。您仍然可以尝试通过在单元格中运行 linux remove 命令来删除现有文件,风险自负。

!rm <path>

否则,您将不得不改用 GPU,因为我知道它以更长的训练时间为代价提供了更多的空间。我认为另一种选择可能是付费升级,但我不知道它是否只会给你更多的 TPU 时间,或者它是否也会增加你的 RAM。

【讨论】:

    猜你喜欢
    • 2020-07-12
    • 1970-01-01
    • 2018-07-20
    • 2010-09-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-10-20
    • 1970-01-01
    相关资源
    最近更新 更多