为什么 exec+tee 输出显示乱序？

Question

这基本上是这个问题的附录： redirect COPY of stdout to log file from within bash script itself

所以使用这个测试脚本：

#!/bin/bash

echo 'bash version:'
bash --version|grep release
echo '';
echo '----------------'
rm /tmp/logfile 2>/dev/null;

function testCommands() {
    local mode="$1"
    echo "testCommands(): mode == $mode";

    # Link file descriptor #6 with stdout to save stdout, #7 for stderr
    exec 6>&1;
    exec 7>&2;

    if [[ 'both' == "${mode}" ]]; then
        # log to file and stdout
        exec > >(tee -ia /tmp/logfile);

    elif [[ 'file' == "${mode}" ]]; then
        # log to file only
        exec 1>> /tmp/logfile

    elif [[ 'quiet' == "${mode}" ]]; then
        # be quiet
        exec 1> /dev/null

    #else - use normal stdout
    fi
    if [[ 'true' != "${separate_stderr}" ]]; then
        #by default, merge stderr to stdout for simple logging
        exec 2>&1
    #else - keep stderr separate like it normally is
    fi

    echo "fee";
    echo "fye";
    echo "foh";
    echo "fum";

    # Restore stdout/stderr and close file descriptors #6/#7
    exec 1>&6 6>&-;
    exec 2>&7 7>&-;
}

testCommands 'file'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
rm /tmp/logfile 2>/dev/null;
echo '----------------'
testCommands 'stdout'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
rm /tmp/logfile 2>/dev/null;
echo '----------------'
testCommands 'both'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
rm /tmp/logfile 2>/dev/null;
echo '----------------'
testCommands 'quiet'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
echo '----------------'

我得到以下输出：

bash version:
GNU bash, version 4.4.20(1)-release (x86_64-pc-linux-gnu)

----------------
testCommands(): mode == file
----------------

check /tmp/logfile
-rw-rw---- 1 testuser testuser 16 Sep 20 16:10 /tmp/logfile

check output
fee
fye
foh
fum
----------------
testCommands(): mode == stdout
fee
fye
foh
fum
----------------

check /tmp/logfile
ls: cannot access '/tmp/logfile': No such file or directory

check output
cat: /tmp/logfile: No such file or directory
----------------
testCommands(): mode == both
----------------

check /tmp/logfile
fee
fye
foh
fum
-rw-rw---- 1 testuser testuser 16 Sep 20 16:10 /tmp/logfile

check output
fee
fye
foh
fum
----------------
testCommands(): mode == quiet
----------------

check /tmp/logfile
ls: cannot access '/tmp/logfile': No such file or directory

check output
cat: /tmp/logfile: No such file or directory
----------------

这里有相当多的输出，所以如果你第一次没有看到它，那么看起来很奇怪的部分在 testCommands(): mode == both 部分。

我希望在这里看到的是函数的所有输出将首先显示，然后从调用后定义的 echo/ls/cat 输出。相反，函数输出显示在函数完成后应该运行的 2 个命令的输出之间。换句话说，这是我期望发生的事情（注意：以下不是实际输出 - 我编造了）：

----------------
testCommands(): mode == both
fee
fye
foh
fum
----------------

check /tmp/logfile
-rw-rw---- 1 testuser testuser 16 Sep 20 16:10 /tmp/logfile

check output
fee
fye
foh
fum

我在我的家用计算机上从 Linux Mint v19.2 x64 Cinnamon（基于 Ubuntu 18.04）运行它。正在寻求将另一篇文章的 exec 答案调整为我计划从其他各种 bash shell 脚本、我的 .bash_aliases 等调用的共享 functions.sh 脚本。我有一些场景我想调用相同的函数在具有不同日志记录要求的各种场景中：文件 + 标准输出、仅文件、仅标准输出和静默。对于我的所有场景，我更喜欢将标准错误转换为标准输出。

1) 调用testCommands 'both'，我看到在函数本身输出之前显示的函数之后的输出。好奇是否有任何方法可以确认这确实是由于 tee 中的缓冲，完全是由于其他原因，或某种组合。

2) 除了使用另一个问题中引用的“无缓冲 tee 版本”之外，还有什么方法可以从 bash 中解决这个问题？例如即使它正在缓冲，我是否可以在功能结束之前通过 bash/其他 posix 命令禁用甚至强制打印缓冲输出？我宁愿避免外部依赖，但看不到自己切换到不使用 bash 作为默认 shell 的任何发行版。

3) 在使用 bash 时，是否有更优雅/灵活/更易于维护的方式来控制输出？ （例如管理显示/隐藏控制台/日志文件的标准输出/标准错误输出的各种排列）

Answer 1

这是重现问题的更简单方法：

echo "Hello" > >(tee -a file)
echo "World" >> file

该文件将包含“World Hello”而不是“Hello World”。

这不会发生，因为tee 缓冲（它没有），而是因为你已经做了一个两阶段的写入过程，shell 只等待第一个。

当您通过进程替换时，您正在写入管道，echo 只会等到数据成功写入管道。直到tee 有机会稍后再写入它，它才会进入文件。如果脚本继续导致在tee 可以运行之前写入文件，则输出会出现乱序。

如果您在任何时候想要“刷新”输出，则必须关闭管道并等待进程替换退出：

mkfifo tmpfile
exec > >(echo "$BASHPID" > tmpfile; exec tee -a file)
echo "Hello"
exec >&-
wait "$(<tmpfile)"
echo "World" >> file

所以确实更容易确保所有数据都采用相同的路径，例如通过确保所有写入都通过相同的进程替换发生。

Answer 2

因为命令正在缓冲 IO。如果禁用 IO 缓冲，您将获得所需的结果。您可以使用 stdbuf 或 unbuffer 命令来禁用缓冲。

stdbuf -oL command   # This will buffer one line at time
unbuffer command

如果您的系统没有这些命令之一，请尝试使用较旧且应该在大多数发行版上的脚本。

script -q /dev/null long_running_command