为什么一个文件对象刷新，而另一个不刷新？

Question

我想要一个在写入数据时直接刷新到文件的文件对象，并写了这个：

class FlushingFileObject(file):
    def write(self,*args,**kwargs):
        return_val= file.write(self,*args,**kwargs)
        self.flush()
        return return_val

    def writelines(self,*args,**kwargs):
        return_val= file.writelines(self,*args,**kwargs)
        self.flush()
        return return_val

但有趣的是，我写它时它并没有刷新，所以我尝试了一些方法，包括：

class FlushingFileObject(object):
    def __init__(self,*args,**kwargs):
        self.file_object= file(*args,**kwargs)

    def __getattr__(self, item):
        return getattr(self.file_object,item)

    def write(self,*args,**kwargs):
        return_val= self.file_object.write(*args,**kwargs)
        self.file_object.flush()
        return return_val

    def writelines(self,*args,**kwargs):
        return_val= self.file_object.writelines(*args,**kwargs)
        self.file_object.flush()
        return return_val

确实冲洗。

为什么子类化file 在这种情况下不起作用？

Answer 1

好问题。

发生这种情况是因为 Python 通过绕过 Python 级别的 write 方法并直接调用 fputs 来优化对 file 对象上的 write 的调用。

要查看实际情况，请考虑：

$ cat file_subclass.py
import sys
class FileSubclass(file):
    def write(self, *a, **kw):
        raise Exception("write called!")
    writelines = write
sys.stdout = FileSubclass("/dev/null", "w")
print "foo"
sys.stderr.write("print succeeded!\n")
$ python print_magic.py
print succeeded!

从未调用过write 方法！

现在，当对象不是 file 的子类时，一切都会按预期工作：

$ cat object_subclass.py
import sys
class ObjectSubclass(object):
    def __init__(self):
        pass
    def write(self, *a, **kw):
        raise Exception("write called!")
    writelines = write
sys.stdout = ObjectSubclass()
print "foo"
sys.stderr.write("print succeeded!\n")
$ python object_subclass.py
Traceback (most recent call last):
  File "x.py", line 13, in <module>
    print "foo"
  File "x.py", line 8, in write
    raise Exception("write called!")
Exception: write called!

稍微挖掘一下 Python 源代码，看起来罪魁祸首是 PyFile_WriteString 函数，由 print 语句调用，它检查正在写入的对象是否是 file 的实例，并且如果是，则绕过对象的方法，直接调用fputs：

int
PyFile_WriteString(const char *s, PyObject *f)
{

    if (f == NULL) {
        /* … snip … */
    }
    else if (PyFile_Check(f)) { //-- `isinstance(f, file)`
        PyFileObject *fobj = (PyFileObject *) f;
        FILE *fp = PyFile_AsFile(f);
        if (fp == NULL) {
            err_closed();
            return -1;
        }
        FILE_BEGIN_ALLOW_THREADS(fobj)
        fputs(s, fp); //-- fputs, bypassing the Python object entirely
        FILE_END_ALLOW_THREADS(fobj)
        return 0;
    }
    else if (!PyErr_Occurred()) {
        PyObject *v = PyString_FromString(s);
        int err;
        if (v == NULL)
            return -1;
        err = PyFile_WriteObject(v, f, Py_PRINT_RAW);
        Py_DECREF(v);
        return err;
    }
    else
        return -1;
}

Answer 2

file.flush() 的文档说：

注意 flush() 不一定将文件的数据写入磁盘。使用 flush() 后跟 os.fsync() 来确保这种行为。

我在没有调用 os.fsync 的情况下测试了 FlushingFileObject 的第一个版本。该文件没有刷新。插入os.fsync(self.fileno()) 后，文件被刷新。然后我删除了 os.fsync 调用，现在文件被刷新了！我想可以肯定的是，os.fsync 调用是必要的。