【问题标题】:How do you clear the persistent storage for a notebook instance on AWS SageMaker?如何清除 AWS SageMaker 上笔记本实例的持久存储?
【发布时间】:2021-03-31 11:51:06
【问题描述】:

所以我在尝试保存时在 AWS SageMaker 上遇到了以下错误:

保存文件时出现意外错误:untitled.ipynb [Errno 28] 设备上没有剩余空间

如果我删除我的笔记本,创建一个新的相同的并运行它,一切正常。但是,如果我在笔记本运行时保存它,我怀疑 Jupyter 检查点会占用太多空间,因此空间不足。遗憾的是,获得更多存储空间对我来说不是一个选择,所以我想知道在运行笔记本之前是否可以使用任何命令来清除存储空间?

更具体地说,在训练过程的开始和结束时清除持久存储。

我像疯子一样用谷歌搜索,但除了“只是增加存储量兄弟”之外没有其他建议,这就是我在这里提出问题的原因。

提前致谢!

【问题讨论】:

    标签: amazon-web-services jupyter-notebook storage amazon-sagemaker


    【解决方案1】:

    如果您不希望您的数据在多个笔记本运行中保持不变,只需将它们存储在/tmp 中,这不是持久的。您至少有 10GB。更多详情here.

    【讨论】:

    • 好的,那么我究竟如何选择将它存储在那里?以及如何清除多个笔记本运行中持续存在的内容?
    • 每当您在代码中保存某些内容时,只需在/tmp 文件夹中进行操作即可。或者尝试使用os.chdir(NEW_PATH) 更改工作目录。 /tmp 在每次笔记本启动时被 AWS 自动清除,您不必担心。另一种方法(如果您不想使用/tmp 是在工作结束时手动删除文件,请考虑默认情况下您的目录是/home/ec2-user/SageMaker
    • 非常感谢!
    • 如果有帮助,请您接受我的回答吗?谢谢
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-08-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-12-13
    • 1970-01-01
    相关资源
    最近更新 更多