【发布时间】：2019-07-25 04:19:56
【问题描述】：
当我使用 google colab 时，我多次随机收到此错误，有时有效，有时无效
OSError: [Errno 5] Input/output error
当我与 google drive 交互时是否会发生此错误？ 此错误的任何解决方案
【问题讨论】：
标签： machine-learning google-colaboratory
【发布时间】：2019-07-25 04:19:56
【问题描述】：
我几乎经常与对话一起面对它-
发生了 Google 云端硬盘超时（最近一次发生在下午 12:46:20）。更多信息。
有时如果我运行一个代码单元三次，错误就不会再发生了；有时我必须运行该单元多达 8-9 次 才能成功执行它。
问题总是发生在数据加载过程中，正如预期的那样。在数据加载单元中，我通常定义了拆分、项目转换和批量转换。因此，它们在多次运行单元时会增加额外的时间成本。
我所做的不是多次运行数据加载单元格，而是在 Bash 上使用 ! 方法在不同的单元格中运行 ls 命令。我通常在培训目录中查找一个文件（具有已知文件名）并将该模式传递给grep，并通过管道传递给ls。就这样-
! ls /content/path/to/training/dr/ | grep xyz_001 # I *know* xyz_001 exists in a filename
如果此单元在 n 次尝试后成功执行，并且在输出中显示所需的文件名，数据加载单元在 100% 的时间内成功运行，您可以开始训练。
请务必注意，我不会在没有 grep 的情况下运行带有整个培训目录的 ls，因为这总是会失败，因为我的培训目录有时有大约 10 万个文件。
这是一个丑陋的黑客，但它每次都有效。
【讨论】：
我在一个包含超过 5.5k 个文件的谷歌驱动器文件夹上使用 os.listdir 时遇到了这个错误，并且我的 colab 笔记本左下角的一个小窗口弹出，说发生了超时。
因为我有 Colab Pro，所以我尝试将运行时硬件加速器切换到 GPU，并将运行时形状切换到 High-Ram。这解决了我的问题。可能是其中一个或两个选项一起出现，不确定。
最佳答案的问题是，您可能需要 Colab 中的一些简单功能（如 os.listdir）才能有效地移动文件并创建子文件夹以减少文件夹内容。如果您甚至无法在不发生超时错误的情况下列出文件夹中的内容，您可能只需要升级到 Colab Pro 以获得这些高级运行时选项，从而获得更强大的计算环境。
【讨论】：
另一种可能的解决方案是将文件保存在不同的（新文件夹）目录中。我认为@bob-smith 的解决方案是解决这个问题的最佳解决方案之一，我只是展示了对我有用的原始解决方案的变体。
【讨论】：
来自the FAQ--
当文件数量或 文件夹中的子文件夹变得太大。如果数以千计的项目 直接包含在顶级“我的驱动器”文件夹中，然后安装 驱动器可能会超时。反复尝试最终可能 成功，因为失败的尝试在计时之前在本地缓存部分状态 出去。如果遇到此问题，请尝试移动文件和文件夹 直接包含在“我的驱动器”中的子文件夹中。类似的问题 从其他文件夹读取后可能会发生 成功驱动器.mount()。访问包含许多文件夹中的项目 项目可能会导致错误，如 OSError: [Errno 5] Input/output error (python 3) 或 IOError: [Errno 5] 输入/输出错误 (python 2)。再次， 您可以通过将直接包含的项目移动到 子文件夹。
【讨论】：