在管道中强制标准输出的行缓冲

Question

通常，stdout 是行缓冲的。换句话说，只要您的 printf 参数以换行符结尾，您就可以期望该行会立即打印。当使用管道重定向到 tee 时，这似乎不成立。

我有一个 C++ 程序a，它输出字符串，总是\n-终止，到stdout。

当它自行运行 (./a) 时，一切都按预期在正确的时间正确打印。但是，如果我将它通过管道传输到 tee (./a | tee output.txt)，它在退出之前不会打印任何内容，这违背了使用 tee 的目的。

我知道我可以通过在 C++ 程序中的每次打印操作后添加 fflush(stdout) 来修复它。但是有没有更清洁、更简单的方法？有没有我可以运行的命令，例如，它会强制 stdout 进行行缓冲，即使在使用管道时也是如此？

Answer 1

你可以试试stdbuf

$ stdbuf --output=L ./a | tee output.txt

手册页的（大）部分：

  -i, --input=MODE   adjust standard input stream buffering
  -o, --output=MODE  adjust standard output stream buffering
  -e, --error=MODE   adjust standard error stream buffering

If MODE is 'L' the corresponding stream will be line buffered.
This option is invalid with standard input.

If MODE is '0' the corresponding stream will be unbuffered.

Otherwise MODE is a number which may be followed by one of the following:
KB 1000, K 1024, MB 1000*1000, M 1024*1024, and so on for G, T, P, E, Z, Y.
In this case the corresponding stream will be fully buffered with the buffer
size set to MODE bytes.

请记住这一点：

NOTE: If COMMAND adjusts the buffering of its standard streams ('tee' does
for e.g.) then that will override corresponding settings changed by 'stdbuf'.
Also some filters (like 'dd' and 'cat' etc.) dont use streams for I/O,
and are thus unaffected by 'stdbuf' settings.

你不是在tee 上运行stdbuf，而是在a 上运行它，所以这不会影响你，除非你在a 的流中设置缓冲a'来源。

另外，stdbuf 不是 POSIX，而是 GNU-coreutils 的一部分。

Answer 2

试试unbuffer，它是expect 包的一部分。您可能已经在您的系统上安装了它。

在你的情况下，你会这样使用它：

./a | unbuffer -p tee output.txt

（-p 用于管道模式，其中 unbuffer 从标准输入读取并将其传递给其余参数中的命令）

Answer 3

您也可以尝试使用script 命令在伪终端中执行您的命令（这应该强制将行缓冲输出到管道）！

script -q /dev/null ./a | tee output.txt     # Mac OS X, FreeBSD
script -c "./a" /dev/null | tee output.txt   # Linux

请注意script 命令不会传播回包装命令的退出状态。

Answer 4

您可以使用 stdio.h 中的 setlinebuf。

setlinebuf(stdout);

这应该将缓冲更改为“行缓冲”。

如果您需要更大的灵活性，可以使用 setvbuf。

Answer 5

@Paused until further notice 答案中的expect 包中的unbuffer 命令对我来说并不像它呈现的方式那样工作。

而不是使用：

./a | unbuffer -p tee output.txt

我不得不使用：

unbuffer -p ./a | tee output.txt

（-p 用于管道模式，其中 unbuffer 从标准输入读取并将其传递给其余参数中的命令）

expect 包可以安装在：

1. MSYS2 与 pacman -S expect
2. 带有brew install expect 的Mac OS

---

更新

我最近在 shell 脚本中遇到了 python 的缓冲问题（尝试将时间戳附加到其输出时）。解决方法是通过这种方式将-u 标志传递给python：

1. run.sh 与 python -u script.py
2. unbuffer -p /bin/bash run.sh 2>&1 | tee /dev/tty | ts '[%Y-%m-%d %H:%M:%S]' >> somefile.txt
3. 此命令将在输出中添加时间戳，并同时将其发送到文件和标准输出。
4. ts 程序（时间戳）可以与moreutils 包一起安装。

---

更新 2

最近，grep 缓冲输出也有问题，当我在 grep 上使用参数 grep --line-buffered 来停止缓冲输出时。

Answer 6

如果您改用 C++ 流类，则每个 std::endl 都是 隐式刷新。使用C风格的打印，我认为你建议的方法（fflush()）是唯一的方法。