带有连续管道的 grep 不起作用答案

【问题标题】：grep with continuous pipe does not work带有连续管道的 grep 不起作用
【发布时间】：2017-06-28 17:28:42
【问题描述】：

（可能是“tcpflow”问题）

我写了一个脚本来监控http流量，我安装tcpflow，然后grep

它工作（你应该发出一个http请求，例如curl www.163.com）

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: '

这样输出（连续）

Host: config.getsync.com
Host: i.stack.imgur.com
Host: www.gravatar.com
Host: www.gravatar.com

但我不能继续使用管道

不起作用（无输出）

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | cut -b 7-

不起作用（无输出）

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | grep H

当我用cat foo.txt 替换sudo tcpflow 时，它可以工作：

cat foo.txt | grep '^Host: ' | grep H

那么管道、grep 或 tcpflow 有什么问题？

更新：

【问题讨论】：

【解决方案1】：

我认为问题是因为stdio buffering，你需要在调用grep之前使用GNU stdbuf，

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | stdbuf -o0 grep '^Host: '

使用-o0，它基本上意味着来自tcpflow 的输出（stdout）流将是无缓冲的。默认行为是在发送到管道中的下一个命令之前自动将数据缓冲到 4096¹ 字节块中，这是使用 stdbuf

覆盖的内容

1. 参考这个nice detail进入主题。

【讨论】：

【解决方案2】：

到grep 连续流使用--line-buffered 选项：

sudo tcpflow -p -c -i eth0 port 80 2> /dev/null | grep --line-buffered '^Host'

--行缓冲

在输出上使用行缓冲。这可能会导致性能下降。

关于缓冲输出的一些思考（也提到了stdbuf工具）：

【讨论】：