Python：os.read() / os.write() 在 os.pipe() 线程上是安全的吗？

Question

考虑：

pipe_read, pipe_write = os.pipe()

现在，我想知道两件事：

(1) 我有两个线程。如果我保证只有一个在读os.read(pipe_read,n)而另一个只在写os.write(pipe_write)，即使两个线程同时做，我会有什么问题吗？我会得到以正确顺序写入的所有数据吗？如果他们同时做会发生什么？是否有可能将单个写入分段读取，例如？：

Thread 1: os.write(pipe_write, '1234567')
Thread 2: os.read(pipe_read,big_number) --> '123'
Thread 2: os.read(pipe_read,big_number) --> '4567'

或者 - 再次考虑同时性 - 单个 os.write(some_string) 是否总是完全由单个 os.read(pipe_read, very_big_number) 返回？

(2) 考虑使用logging.handlers.FileHandler() 写入管道的pipe_write 端的多个线程——我读过日志记录模块是线程安全的。这是否意味着我可以做到这一点而不会丢失数据？我想我将无法控制管道中数据的顺序；但这不是要求。 要求：

• 写端部分线程写入的所有数据必须在读端出来
• 由单个logger.info(), logger.error(), ... 编写的字符串必须保持为一体。

这些要求都满足了吗？

提前谢谢你，

简-菲利普·格尔克

Answer 1

os.read 和 os.write 从os.pipe 返回的两个 fd 上是线程安全的，但您似乎要求的不止于此。子(1)，是的，单次读取或写入没有“原子性”保证——您描述的场景（一次短写入最终产生两次读取）是完全可能的。 （通常， os.whatever 是操作系统功能的精简包装器，由操作系统来确保或无法确保您需要的功能类型；在这种情况下，Posix 标准不需要操作系统以确保这种“原子性”）。您可以保证以正确的顺序获取所有写入的数据，但仅此而已。大量数据的单次写入可能会在它填满操作系统提供的缓冲区后停止，并且只有在其他线程读取了一些初始数据后才会继续（当然要注意死锁！）等等。

Sub (2)，是的，日志记录模块是线程安全的，并且在通过对 logging.info、logging.warn、logging.error 等的单次调用产生的数据中是“原子的”，在术语上“保持一体”对底层处理程序的调用（但是，如果该处理程序反过来使用非原子方式，例如 os.write，它可能仍然会在内核中停止，直到底层缓冲区被疏通等等，等等，如上所述）。