【发布时间】：2021-11-25 16:06:34
【问题描述】：
我有一个 30GB 的数据集，需要上传到 google colab。上传的流程是什么？
【问题讨论】：
【发布时间】：2021-11-25 16:06:34
【问题描述】：
这取决于“拥有 30GB 数据集”是什么意思。如果此数据集在您的本地计算机上，那么您需要：
- 首先将您的数据集上传到 Google 云端硬盘
- 然后将您的 Google Drive 安装到您的 colab-notebook。
如果您有在线服务器上的数据集，那么您需要：
- 将您的谷歌驱动器安装到您的笔记本上
- 然后，直接将其下载到您的谷歌驱动器
您可以使用此 cod 将您的 google-drive 安装到您的笔记本：
import os
from google.colab import drive
drive.mount('/content/gdrive')
ROOT = "/content/gdrive/My Drive/"
os.chdir(ROOT)
如果您的数据在服务器上，那么您可以通过在笔记本单元格中运行以下代码直接下载它。
!wget [dataset_url]
【讨论】：
-
是的，我在本地有一个 30GB 的数据集，驱动器存储容量为 20GB，那么我如何在不升级驱动器存储容量的情况下上传数据集。然后我必须在谷歌中使用那些 30 GB 的数据集合作实验室。
-
买它...我怀疑在这么大的集合上共享硬件无论如何你都会遇到很多性能问题。
如果您的问题是空间不足，您可以更改为 GPU 运行时以获得 350 GB 空间。
MENU > Runtime > Change runtime type > Hardware accelerator = GPU
过程与@Anwarvic 的回答相同。
【讨论】：
-
这取决于地区 - 与 CPU 相比，GPU 运行时的存储空间更少。
您可以通过将 GPU 更改为 TPU 来获得更多空间
菜单 > 运行时 > 更改运行时类型 > 硬件加速器 = TPU
【讨论】：