python实时写入文件

Question

我有这段python代码，它通过文本文件（urls.txt）中的url列表循环然后跟随所有url的重定向，如果url包含特定的字符串，它将它写入一个名为redirects的文件.txt

import urllib.request
import ssl
redf = open('redirect.txt', 'w')
with open('urls.txt') as f:
   for row in f:
    #try:

      context = ssl._create_unverified_context()
      finalurl = ''
      try:
        res      = urllib.request.urlopen(row, context=context, timeout=10)
        finalurl = res.geturl().strip()
      except:
          #remove from list
          print("error:"+finalurl)

      # filedata = file.read()
      if finalurl.strip():
        if "/admin/" in finalurl:
            redf.write(finalurl+"\n");

问题是在redirect.txt文件被创建之前我必须等待整个URS被处理完。

如何实时写作？

Answer 1

文件已创建，但由于您的输出很小，很可能在文件关闭之前它都卡在写缓冲区中。如果您需要更快地填写文件，请在line buffered mode by passing buffering=1 中打开它：

open('redirect.txt', 'w', buffering=1)

或flush 在每个write 之后，或者explicitly calling flush：

redf.write(finalurl+"\n")
redf.flush()

或者，既然你无论如何都在添加换行符，所以你不妨让它为你工作，使用print with flush=True：

print(finalurl, file=redf, flush=True)

旁注：您真的想将with statements 用于特别是为写入而打开的文件，但您只将它用于正在读取的文件（在最坏的情况下它不太重要）只是一个延迟的句柄关闭，而不是丢失的写入）。否则异常可能导致文件被刷新/关闭的任意延迟。只需将两个打开合并为一个with，例如：

with open('urls.txt') as f, open('redirect.txt', 'w', buffering=1) as redf:

Answer 2

您可以附加到重定向文件，而不是在程序执行期间保持打开状态。

import urllib.request
import ssl

def append(line):
    with open('redirect.txt', 'a') as redf:
        redf.write(line)

with open('urls.txt') as f:
   for row in f:

      ...

      if finalurl.strip():
        if "/admin/" in finalurl:
            append(finalurl)

根据处理文件时与文件的任何其他交互，您可能需要添加try/except 机制以在append 函数中重试。