read() 的文件大小限制？

Question

我在尝试使用 Python 3.5 加载大文件时遇到了问题。使用不带参数的read() 有时会给出OSError: Invalid argument。然后我尝试只读取文件的一部分，它似乎工作正常。我已经确定它在2.2GB 附近的某个地方开始失败，下面是示例代码：

>>> sys.version
'3.5.1 (v3.5.1:37a07cee5969, Dec  5 2015, 21:12:44) \n[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)]'
>>> x = open('/Users/username/Desktop/large.txt', 'r').read()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OSError: [Errno 22] Invalid argument
>>> x = open('/Users/username/Desktop/large.txt', 'r').read(int(2.1*10**9))
>>> x = open('/Users/username/Desktop/large.txt', 'r').read(int(2.2*10**9))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OSError: [Errno 22] Invalid argument

我还注意到这在 Python 2.7 中不会发生。这是在 Python 2.7 中运行的相同代码：

>>> sys.version
'2.7.10 (default, Aug 22 2015, 20:33:39) \n[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.1)]'
>>> x = open('/Users/username/Desktop/large.txt', 'r').read(int(2.1*10**9))
>>> x = open('/Users/username/Desktop/large.txt', 'r').read(int(2.2*10**9))
>>> x = open('/Users/username/Desktop/large.txt', 'r').read()
>>>

我正在使用 OS X El Capitan 10.11.1。

这是一个错误还是应该使用其他方法来读取文件？

Answer 1

是的，你遇到了一个错误。

好消息是其他人也发现了它，并且已经在 Python 错误跟踪器中为它创建了一个问题，请参阅：Issue24658 - open().write() fails on 2 GB+ data (OS X)。这似乎取决于平台（仅限 OS-X），并且在使用 read 和/或 write 时可重现。显然，fread.c 在 OS-X 的 libc 实现中的实现方式存在问题，请参阅here。

坏消息是 它仍然处于打开状态（并且目前处于非活动状态）因此，您必须等待它解决。无论哪种方式，如果您对细节感兴趣，您仍然可以查看那里的讨论。

---

作为一种解决方案，我很确定您可以回避这个问题，直到通过读取块并在处理过程中链接块来解决它。写作时也这样做。不幸的是，它可能会奏效。