如何从 SageMaker Studio Lab 下载大文件？答案

【问题标题】：How to download large files from SageMaker Studio Lab?如何从 SageMaker Studio Lab 下载大文件？
【发布时间】：2022-01-09 19:57:35
【问题描述】：

在 Colab 中，您可以将大文件移动到 Google Drive，然后将它们轻松下载到本地计算机，但在 SageMaker Studio Lab 中如何做到这一点？下载选项不适用于大文件。是否需要使用脚本或特殊应用程序？

【问题讨论】：

它在 SageMaker Studio Labs 驱动器中，即免费的 15G 驱动器，而不是 S3。实验室使用像 Colab 这样的笔记本，两者都无法将大文件下载到本地电脑/驱动器，但在 Colab 中可以使用链接下载大文件，但在 Sagemaker 中没有任何反应。那么如何做到这一点呢？用谷歌搜索了整个互联网但没有找到答案，可能是因为 Labs 是一项新功能，但我认为重要的是，无需特殊技巧即可轻松下载大型训练模型，特别是在用户友好的 Lab 环境中。
无论如何，我现在已经做了一个快速修复来处理这个问题。我虽然希望 SageMaker 团队的人能回答这个问题，因为这个网站是正式的问答网站。原始下载功能应该在 SageMaker Studio Lab 中适用于大文件或为它编写/通信一个简单的脚本。
你能告诉我你用过的快速修复，我也无法下载文件
现在最好的办法是找到一个免费的外部云驱动器并将您的文件上传到它。例如。如果你参加 Kaggle 比赛，你可以安装 Kaggle 代码，使用 api 脚本远程创建一个私有数据集。也许aws有免费的驱动器可以使用？我希望他们为 Studio Lab 驱动器创建一个简单的脚本，用于在本地下载文件或制作一个用于下载大文件的驱动器 GUI。顺便说一句，我收集了其他代码，可以用来最大限度地提高 Studio Lab 体验，我会找地方发布它。也许我在这里创建一个自己的问题并用代码和示例来回答它。
Studio Labs 是新的，所以它肯定会很快弹出解决方案。

标签： download amazon-sagemaker large-files

【解决方案1】：

如果您想将 SageMaker Studio Lab 项目中的文件下载到本地系统，您可以在左侧面板的文件浏览器 UI 中右键单击该文件，然后选择“下载”。

【讨论】：

不，正如我所说的“将大文件下载到本地电脑/驱动器时出现问题，但在 Colab 中可以使用链接下载大文件，但在 Sagemaker 中没有任何反应”。是否下载例如使用“下载”按钮时，750Mb 文件是否适合您？当使用上传到云驱动器的脚本时，只需几秒钟。我应该很容易和信息丰富，因为 Studio Lab 是为许多新用户测试的。

【解决方案2】：

您可以将文件上传到 AWS S3 存储，然后单击“下载”按钮进行下载。我已经上传了一个 1.3GB 的文件，并且下载成功了。

【讨论】：

他们有免费的 AWS S3 存储吗？
对不起。我没有检查 S3 存储成本。可以尝试 AWS 免费套餐。