【问题标题】:How often does python flush to a file?python多久刷新一次文件?
【发布时间】:2011-03-11 04:43:47
【问题描述】:
  1. Python 多久刷新一次文件?
  2. Python 多久刷新一次到标准输出?

我不确定 (1)。

至于 (2),我相信 Python 在每个新行之后都会刷新到标准输出。但是,如果您将 stdout 重载到文件中,它是否会经常刷新?

【问题讨论】:

    标签: python file flush


    【解决方案1】:

    对于文件操作,Python 使用操作系统的默认缓冲,除非您另外配置。您可以指定缓冲区大小、无缓冲或行缓冲。

    例如,open 函数采用缓冲区大小参数。

    http://docs.python.org/library/functions.html#open

    "可选的缓冲参数指定文件所需的缓冲区大小:"

    • 0 表示无缓冲,
    • 1 表示行缓冲,
    • 任何其他正值表示使用(大约)该大小的缓冲区。
    • 负缓冲意味着使用系统默认值,通常对 tty 设备进行行缓冲,对其他文件进行完全缓冲。
    • 如果省略,则使用系统默认值。

    代码:

    bufsize = 0
    f = open('file.txt', 'w', buffering=bufsize)
    

    【讨论】:

    • +1 表示“行缓冲”部分。这正是我一直在寻找的东西,它就像一个魅力。
    • 当我使用 Python 3.4.3 open('file.txt', 'w', 1) 我得到了正确的行缓冲。但如果我做更大的事情(我想要open('file.txt', 'w', 512)),它会缓冲 8192 的完整io.DEFAULT_BUFFER_SIZE。这是 Python 错误、Linux 错误还是 ID10t 错误?
    • 是否可以更改已打开流的缓冲?比如说,我希望 stdout 被行缓冲,无论它是控制台还是重定向到文件?
    • @CharlieParker 当您在文件句柄上调用write() 时,输出会缓冲在内存中并累积直到缓冲区已满......此时缓冲区被“刷新”(内容被写入从缓冲区到文件)。您可以通过在文件句柄上调用flush() 方法来显式刷新缓冲区。
    • 请注意,无缓冲 (0) 仅在二进制模式下可用,而行缓冲 (1) 仅在文本模式下可用。
    【解决方案2】:

    您还可以使用flush() 方法以编程方式将缓冲区强制刷新到文件中。

    with open('out.log', 'w+') as f:
        f.write('output is ')
        # some work
        s = 'OK.'
        f.write(s)
        f.write('\n')
        f.flush()
        # some other work
        f.write('done\n')
        f.flush()
    

    我发现这在使用 tail -f 跟踪输出文件时很有用。

    【讨论】:

    • 来自文档:Note: flush() does not necessarily write the file’s data to disk. Use flush() followed by os.fsync() to ensure this behavior.
    • @bobismijnnaam 下次链接到上述文档。我能找到的唯一参考来自github.com/jprzywoski/python-reference/blob/master/source/docs/…,我不知道那是谁。
    • @Bruno Bronosky 好点。 Docs:Note: flush() does not necessarily write the file’s data to disk. Use flush() followed by os.fsync() to ensure this behavior.
    • 我很困惑的是flushing这个词的含义。为什么我们需要它?它是干什么用的?我为什么要关心它?
    • @CharlieParker 写入时,会写入 RAM 中文件的(部分)副本,该文件可能暂时不会保存到磁盘。它提高了性能,但如果该副本从未被写入(磁盘移除、操作系统崩溃等),则可能意味着数据丢失。 flush() 告诉 Python 立即将该缓冲区写回磁盘。 (然后,os.fsync() 告诉操作系统也这样做。缓冲区有很多层......)
    【解决方案3】:

    我不知道这是否也适用于 python,但我认为这取决于您运行的操作系统。

    例如,在 Linux 上,到终端的输出在换行符上刷新缓冲区,而对于文件的输出,它仅在缓冲区已满时才刷新(默认情况下)。这是因为刷新缓冲区的次数更少,效率更高,并且用户不太可能注意到输出是否没有在文件中的换行符上刷新。

    如果你需要的话,你也许可以自动刷新输出。

    编辑:我认为你会以这种方式在 python 中自动刷新(基于 来自here)

    #0 means there is no buffer, so all output
    #will be auto-flushed
    fsock = open('out.log', 'w', 0)
    sys.stdout = fsock
    #do whatever
    fsock.close()
    

    【讨论】:

      【解决方案4】:

      您还可以通过调用 io 模块中的只读 DEFAULT_BUFFER_SIZE 属性来检查默认缓冲区大小。

      import io
      print (io.DEFAULT_BUFFER_SIZE)
      

      【讨论】:

      • 谢谢!很高兴知道 python 将其设置为操作系统定义...但这有助于找出操作系统预定义的什么
      【解决方案5】:

      这是另一种方法,由 OP 选择他喜欢的方法。

      当在任何其他代码之前在__init__.py 文件中包含以下代码时,使用print 打印的消息和任何错误将不再记录到 Ableton 的 Log.txt,而是记录到磁盘上的单独文件中:

      import sys
      
      path = "/Users/#username#"
      
      errorLog = open(path + "/stderr.txt", "w", 1)
      errorLog.write("---Starting Error Log---\n")
      sys.stderr = errorLog
      stdoutLog = open(path + "/stdout.txt", "w", 1)
      stdoutLog.write("---Starting Standard Out Log---\n")
      sys.stdout = stdoutLog
      

      (对于 Mac,将 #username# 更改为您的用户文件夹的名称。在 Windows 上,您的用户文件夹的路径将具有不同的格式)

      当您在文本编辑器中打开文件时,当磁盘上的文件发生更改时会刷新其内容(Mac 的示例:TextEdit 不会,但 TextWrangler 会),您将看到实时更新的日志。

      致谢:这段代码大部分是从 Nathan Ramella 的 liveAPI 控制界面脚本中复制而来的

      【讨论】:

        猜你喜欢
        • 2018-05-10
        • 2018-08-22
        • 1970-01-01
        • 1970-01-01
        • 2012-07-10
        • 2014-07-07
        • 1970-01-01
        • 2021-06-24
        相关资源
        最近更新 更多