Google Colaboratory：OSError：[Errno 5] 输入/输出错误答案

【问题标题】：Google Colaboratory : OSError: [Errno 5] Input/output errorGoogle Colaboratory：OSError：[Errno 5] 输入/输出错误
【发布时间】：2019-09-21 02:18:01
【问题描述】：

我正在使用 Google Colaboratory，并安装 Google Drive。当我访问一个 csv 文件时，它得到了以下错误：

OSError：[Errno 5] 输入/输出错误。

这在以前没有发生过。

如何像以前一样访问 csv 文件？

我试过了，但是没有用：

Input/output error while using google colab with google drive

这发生在执行以下代码之后。

for segment_id in tqdm(range(segment_num)):
  with h5py.File(os.path.join(INPUT_PATH, "train.h5"), "r") as f:
    train_answers.append(f['time_to_failure'][segment_id*segment_interval + SEGMENT_LENGTH])

tqdm 条进度到 37%，然后给出以下错误。

OSError：无法打开文件（文件读取失败：时间 = Thu May 2 14:14:09 2019 , 文件名 = './drive/My Drive/Kaggle/LANL-Earthquake-Prediction/input/train.h5', 文件描述符 = 74, errno = 5, 错误消息 = '输入/输出错误', buf = 0x7ffc31926d00, 总计读取大小 = 8，此子读取的字节数 = 8，实际读取的字节数 = 18446744073709551615，偏移量 = 0)

从那时起，无法从 Google Colaboratory 读取 Google 云端硬盘中的 train.csv(9GB) 等大文件。它给出了以下错误。

OSError: [Errno 5] 输入/输出错误

有人有同样的问题吗？

有人知道怎么解决吗？

【问题讨论】：

这个问题解决了吗？我有同样的问题。昨天它在阅读文件时工作正常，今天它失败了。我尝试购买 colab pro，但它仍然没有任何效果。
@CharlesCurt 尝试在 Colab VM 上使用文件的临时副本 - 使用 !unzip 命令解压缩存档（请参阅下面的提示）。我也向谷歌汇款了一些钱，但这不是正确的解决方案:)

标签： python-3.x pandas google-colaboratory

【解决方案1】：

Google 设置的配额在使用 Colab 时不需要显示。我遇到了同样的问题。基本上，一旦超过限制，您就会得到独立于文件或您正在执行的操作的 [Errno 5] 输入/输出错误。

问题似乎已经解决，因为我要求增加有关存储的配额（每个我们总共限制为 1 TB）。您可以通过访问此页面并单击配额来访问配额页面： https://cloud.google.com/docs/quota

如果您不要求增加配额，则可能需要等待 7-14 天，直到您的使用量重新设置为 0 并且可以使用全部配额。

我希望这会有所帮助！

【讨论】：

您是如何为 Google Colab 申请更高配额的？ Colab 并未作为 Google Cloud API 的一部分列出
另外，怀疑限制是 1TB/周 - 我使用的远不止于此
更多关于谷歌荒谬神秘配额的讨论support.google.com/drive/thread/2035857?hl=en

【解决方案2】：

我遇到了同样的错误（在对迁移学习进行过于密集的测试期间）。根据谷歌的说法，原因可能是小文件的 I/O 操作过多，或者是由于共享和更密集使用的资源——每一个原因都与谷歌驱动器的使用有关。大多数情况下，应在 1 天后刷新配额。

您也可以尝试另一种解决方案（对于像我这样不耐烦的用户） - 将您的资源（在我的情况下是一个压缩文件夹 data 包含文件夹 train 和 validation 与图像）作为压缩文件复制到您的 Google 驱动器然后使用以下命令将其直接解压缩到 Colab VM 中：

!unzip -qq '/content/grive/My Drive/CNN/Datafiles/data.zip'

然后您可以从文件夹 /content/data/... 访问数据（并告别 I/O 错误；））

【讨论】：