文件太大 python答案

【问题标题】：File too Large python文件太大 python
【发布时间】：2012-06-08 21:20:38
【问题描述】：

我正在使用 python 写入文件。脚本突然停止运行并抛出“IOError: [Errno 27] File too large” 允许您使用程序创建的文件的大小是否有限制？有没有其他人遇到过这个问题？停止时文件大小接近 4.3Gb（有点大）。

【问题讨论】：

不是碰巧达到了 4294967295 字节（即 2^32-1）吗？
我刚刚检查了文件大小，它是 4.3 GB（4,294,967,295 字节）

标签： python ubuntu file-io

【解决方案1】：

此Python bug report 表示操作系统是此错误消息的来源，而不是 Python。

由于您正在写入 FAT 分区，并且 FAT 32 (LinuxFilesystemsExplained) 的最大文件大小限制为 4GB，这很可能是您的问题的原因。在具有不同文件系统的系统或分区上运行您的程序肯定会告诉您。

【讨论】：

@MarcoMariani 我看到了，你看到第二和第三个帖子了吗？
我的账户没有文件大小限制，我使用here指定的ulimit命令进行检查。文件大小表示无限
一个可能的解释是在link 的评论部分（用户名'Chris'的第二条评论）它说胖 fs 只支持高达 4gb 的文件大小。我正在写入的分区很胖。
@viper 是的，那似乎很可能是您的问题的原因。您可以在具有不同文件系统的系统上测试您的程序吗？这样你就可以确定你是否遇到了这个限制。
fat32 是问题所在。我能够写超过 4Gb。

【解决方案2】：

当我在一个目录中有太多文件时，我也会收到此错误。我在一个目录中有 64435 文件，每个文件的名称中都有 10 位数字 + '.json'，随后任何将新文件写入目录的尝试都会引发错误（例如）OSError: [Errno 27] File too large: 'ngrams/0/0/0/0000029503.json'

【讨论】：

【解决方案3】：

当文件变得太大时，寻址就成为一个问题。通常你会得到 32 位，这意味着最大大小约为 4 GB。

【讨论】：