【发布时间】:2021-08-05 00:20:18
【问题描述】:
当我们从 colab 读取 gdrive 时,每个文件夹允许的最大文件数是多少?我从 colab 创建了一个超过 200k 的文件夹,在创建后运行“ls”命令,一切正常,但每次我关闭会话并再次打开它(重新挂载 gdrive)时,该文件夹都会被截断。无法再读取这个数量实际上不超过 20k,需要重新创建/解压缩文件夹。该文件夹包含用于训练 DL 模型的图像。
【问题讨论】:
当我们从 colab 读取 gdrive 时,每个文件夹允许的最大文件数是多少?我从 colab 创建了一个超过 200k 的文件夹,在创建后运行“ls”命令,一切正常,但每次我关闭会话并再次打开它(重新挂载 gdrive)时,该文件夹都会被截断。无法再读取这个数量实际上不超过 20k,需要重新创建/解压缩文件夹。该文件夹包含用于训练 DL 模型的图像。
【问题讨论】:
更新:我正在从我创建文件夹的笔记本上运行 drive.flush_and_unmount()(不关闭会话)并且运行顺利。从另一个笔记本我控制文件夹内的文件数量(同一个文件夹,但来自另一个笔记本),似乎数量开始缓慢增加,所以看起来解决方案正在运行 drive.flush_and_unmount() 强制同步到 gdrive 但还不确定是否在关闭会话并再次重新打开后该文件夹将被同步。会让你知道!至少是进步
【讨论】: