用于 file.read() 多字节请求的 Python EOF

Question

file.read() 上的 Python 文档指出 An empty string is returned when EOF is encountered immediately. 文档进一步指出：

请注意，此方法可能会调用 底层 C 函数 fread() 更多 不止一次努力获得 尽可能接近 size 字节。还 请注意，在非阻塞模式下， 可能比请求的数据少 返回，即使没有 size 参数 给了。

我相信 Guido 已经表达了他的观点，不添加 f.eof() PERFECTLY CLEAR 所以需要使用 Python 方式！

但是，我不清楚的是，如果您从读取中收到的字节数少于请求的字节数，但您确实收到了一些，那么您是否已达到 EOF 是否是一个确定的测试。

即：

with open(filename,'rb') as f:
    while True:
        s=f.read(size)
        l=len(s) 
        if l==0: 
            break     # it is clear that this is EOF...
        if l<size:
            break      # ? Is receiving less than the request EOF???

如果您收到的字节数少于对file.read(size) 的调用请求的字节数，这对break 是否有潜在错误？

Answer 1

你不是带着蛇皮思考...... Python不是C。

首先，回顾一下：

• st=f.read() 读取到 EOF，或者如果作为二进制文件打开，则读取到最后一个字节；
• st=f.read(n) 尝试读取n字节，在任何情况下都不会超过n字节；
• st=f.readline() 一次读取一行，该行以'\n'或EOF结尾；
• st=f.readlines() 使用 readline() 读取文件中的所有行并返回行列表。

如果文件读取方法位于 EOF，则返回 ''。相同类型的 EOF 测试用于其他“类似文件”的方法，如 StringIO、socket.makefile 等。从 f.read(n) 返回小于 n 字节肯定不是对 EOF 的决定性测试！虽然那代码可能在 99.99% 的情况下都可以正常工作，这是它不工作的时候会非常令人沮丧。另外，它是糟糕的 Python 形式。在这种情况下，n 的唯一用途是设置上限返回的大小。

Python 类文件方法返回少于 比n 字节数的一些原因是什么？

1. EOF 肯定是一个常见的原因；
2. 网络套接字可能在读取时超时但仍保持打开状态；
3. 恰好n 字节可能会导致逻辑多字节字符（例如文本模式下的\r\n 和我认为Unicode 中的多字节字符）或某些您不知道的底层数据结构之间的中断；
4. 文件处于非阻塞模式，另一个进程开始访问该文件；
5. 暂时无法访问该文件；
6. 文件、磁盘、网络等上的潜在错误条件，可能是临时的。
7. 程序接收到一个信号，但信号处理程序忽略了它。

我会用这种方式重写你的代码：

with open(filename,'rb') as f:
    while True:
        s=f.read(max_size)
        if not s: break

        # process the data in s...

或者，写一个generator：

def blocks(infile, bufsize=1024):
    while True:
        try:
            data=infile.read(bufsize)
            if data:
                yield data
            else:
                break
        except IOError as (errno, strerror):
            print "I/O error({0}): {1}".format(errno, strerror)
            break

f=open('somefile','rb')

for block in blocks(f,2**16):
    # process a block that COULD be up to 65,536 bytes long

Answer 2

以下是我的 C 编译器文档对 fread() 函数的说明：

size_t fread( 
   void *buffer,
   size_t size,
   size_t count,
   FILE *stream 
);

fread 返回完整项目的数量 实际读取，可能小于 计数是否发生错误或结束 之前遇到的文件 达到计数。

所以看起来小于 size 意味着发生错误或已达到 EOF ——所以 break 退出循环是正确的做法。