无法从 STDIN 正确读取

Question

我在 python 脚本中从 STDIN 读取时遇到了一个奇怪的问题。

这是我的用例。我已经为 rsyslog 配置了一个输出模块，因此 rsyslog 可以将日志消息通过管道传输到我的 Python 脚本。

我的 Python 脚本真的很简单：

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import sys

fd = open('/tmp/testrsyslogomoutput.txt', 'a')
fd.write("Receiving log message : \n%s\n" % ('-'.join(sys.stdin.readlines())))
fd.close()

如果我运行echo "foo" | mypythonscript.py，我可以在目标文件/tmp/testrsyslogomoutput.txt 中获得“foo”。但是，当我在 rsyslog 中运行它时，似乎只有在我停止/重新启动 rsyslog 时才会发送消息（我相信某些缓冲区会在某个时候被刷新）。

我首先认为这是 Rsyslog 的问题。所以我用一个 shell 替换了我的 python 程序，没有改变任何 rsyslog 配置。 shell 脚本与 rsyslog 完美配合，正如您在下面的代码中看到的那样，该脚本非常简单：

#! /bin/sh
cat /dev/stdin >> /tmp/testrsyslogomoutput.txt

由于我的 shell 脚本可以工作，但我的 Python 脚本不能，我相信我在 Python 代码的某个地方犯了一个错误，但我找不到在哪里。如果你能指出我的错误，那就太好了。

提前致谢:)

Answer 1

readlines 在完成文件读取之前不会返回。由于输入标准输入的管道永远不会完成，readlines 也永远不会完成。停止 rsyslog 会关闭管道并让它完成。

Answer 2

如果你改用readline()，它将返回\n，尽管这只会写一行然后退出。

如果你想继续写行，只要它们在那里，你可以使用一个简单的for：

for line in fd:
  fd.write("Receiving log message : \n%s\n" % (line)
fd.close()

Answer 3

我还怀疑原因是 rsyslog 没有终止。 readlines() 在到达真正的 EOF 之前不应返回。但是为什么 shell 脚本会有不同的行为呢？也许使用 /dev/stdin 是原因。试试这个版本，看看它是否还能在不挂起的情况下运行：

#!/bin/sh
cat >> /tmp/testrsyslogomoutput.txt

如果这有所作为，您还将有一个修复：打开并从 python 读取 /dev/stdin，而不是 sys.stdin。

编辑：所以cat 以某种方式读取 stdin 处等待的任何内容并返回，但 python 阻塞并等待直到 stdin 用尽。奇怪的。您也可以尝试将readlines() 替换为单个read()，然后是split("\n")，但在这一点上，我怀疑这会有所帮助。

所以，忘记诊断，让我们尝试一种解决方法：强制标准输入执行非阻塞 i/o。以下应该做到这一点：

import fcntl, os

# Add O_NONBLOCK to the stdin descriptor flags 
flags = fcntl.fcntl(0, fcntl.F_GETFL)
fcntl.fcntl(0, fcntl.F_SETFL, fl | os.O_NONBLOCK)

message = sys.stdin.read().split("\n")  # Read what's waiting, in one go
fd = open('/tmp/testrsyslogomoutput.txt', 'a')
fd.write("Receiving log message : \n%s\n" % ('-'.join(message)))
fd.close()

您可能希望将其与python -u 结合使用。希望它有效！