同时从子进程和父进程写入文件

Question

我有一个脚本 (Python)，它使用子进程调用另一个脚本。父脚本同时写入控制台和日志文件（我使用this question接受的答案中的代码来拆分输出），但子进程打印语句只会写入标准输出，不会写入日志文件。

我确实知道这是为什么：子进程将标准输出设置为普通标准输出，而不是父进程具有的特殊 tee 对象。我尝试将 tee 对象作为参数传递给子进程，但我学到了不能将对象作为参数传递给子进程的艰难方法。我的备份计划是传入要写入的文件的路径字符串，然后让子进程使用同一个文件创建自己的 tee 对象。

我的问题是，如果两个进程同时写入同一个文件，输出会不会混乱？我在父进程中使用 open("file", 'w') ，首先调用它，我在子进程中使用 open("file", 'a') 。假设，该文件应该以正确的顺序包含打印语句的输出，因为附加到带有“a”的文件意味着这些行将始终添加到当前文件的末尾，不是吗？或者是否有关于打开文件的规则阻止它被2个进程同时打开？

POST_TEST：我自己做了一些测试后，发现如下： -您可以连续多次打开("file", 'w') - 你可以先打开("file", 'w') 然后再打开("file", 'a') -在第一种情况下，子进程完全覆盖文件。 -第二种情况，顺序不正确，好像丢失了一些输出。

然后我的新问题是，我应该使用什么替代解决方案同时从父进程和子进程写入文件，而不会出现乱序或重叠的行？

Answer 1

感谢Bamar 的建议：第一个和第二个 open() 都使用 'a' 有效。如果您需要对已存在的文件执行此操作，您可以使用 file.truncate() 在追加文件之前清空文件。

Answer 2

以'w' 模式打开文件会截断文件 (as documented)。以'a' 模式打开文件可能适用于一些 系统。 POSIX says for O_APPEND flag:

如果设置，文件偏移量应设置为每次写入之前的文件末尾。

write()s that are larger than PIPE_BUF may interleave:

POSIX.1-2008 没有说明超过 {PIPE_BUF} 字节的写入请求是否是原子的，但要求 {PIPE_BUF} 或更少字节的写入应该是原子的。

---

问：我应该使用什么替代解决方案同时从父进程和子进程写入文件，而不会出现乱序或重叠的行？

使用行缓冲模式 (1) 打开文件，以在每行末尾刷新内部缓冲区——它应该保留行的大致相对顺序。如果行小于PIPE_BUF（在我的系统上为 4096 字节），那么它们不应“重叠”。

---

子进程可以将数据写入其标准输出，而您的父 Python 进程可以按照您喜欢的任何顺序将其写入文件。见how teed_call() function is implemented。