在 cloud-init 过程中显示 scp 的进度

Question

当我启动一个新服务器时，我使用一个 cloud-init 脚本来自动化这个过程。我关注这个过程的进展：

$ tail -f /var/log/cloud-init-output.log

在使用 scp 获取备份文件并将其通过 tar -zx 管道传输时，我在 cloud-init 脚本中尝试了以下操作：

$ scp myuser@123.45.6.789:path/to/file.tar.gz /dev/stdout | tar -zx

虽然此命令有效，但scp 输出的方便进度指示不会出现在tail -f 输出中...即我看不到类似以下的进度：

file.tar.gz   57%   52MB  25.2MB/s   00:02    

我也尝试过像这样的 bash 进程替换：

$ scp myuser@123.45.6.789:path/to/file.tar.gz >(tar -zx)

而且tail -f 输出中仍然没有出现进度指示。

如何在tail -f 输出中保留进度指示？尤其是在获取较大的备份文件时查看进度，保留这些指示会非常方便。

请注意，当我直接在 bash 脚本中运行上述两个脚本时（顶部有 set -x），“bash 进程替换”变体而不是“管道”变体的进度确实显示...但是当跟踪 cloud-init 日志，两种变体都显示进度。

看起来 cloud-init 只是将 stdout 和 stderr 从所有 cloud-init 阶段发送到 /var/log/cloud-init-output.log（请参阅 here）。

因此，我们可以通过以下调用重新创建 cloud-init 进程（出于此问题的目的）：

$ scp myuser@123.45.6.789:path/to/file.tar.gz >(tar -zx) >output.log 2>&1

然后我们分别按照这个日志文件：

$ tail -f output.log

奇怪的是……这个output.log 文件中没有出现任何进度状态。然而进度状态肯定会被发送……下面唯一的变化是直接发送到/dev/stdout而不是output.log：

$ scp myuser@123.45.6.789:path/to/file.tar.gz >(tar -zx) >/dev/stdout 2>&1
file.tar.gz   57%   52MB  25.2MB/s   00:02    

那么，当我们将stdout 定向到output.log 时，为什么我们会在/dev/stdout 上看到进度状态，但在output.log 上却看不到？

Answer 1

像其他一些工具一样，scp 检查其输出是否发送到 TTY（通过使用 isatty），如果不是则禁用进度表输出（您可以找到类似的情况，例如 ls --color=auto 发出仅当输出到终端时才使用颜色代码）。

您可以通过在script（如in this answer 所示）或任何其他运行程序并将其输出连接到PTY。