awk CR LF 处理是否会在 cygwin 上中断？

Question

在 Linux 上，它按预期运行：

$ echo -e "line1\r\nline2"|awk -v RS="\r\n" '/^line/ {print "awk: "$0}'
awk: line1
awk: line2

但在 windows 下，\r 被删除（awk 认为这一行）：

窗户：

$ echo -e "line1\r\nline2"|awk -v RS="\r\n" '/^line/ {print "awk: "$0}'
awk: line1
line2

Windows GNU awk 4.0.1 Linux GNU awk 3.1.8

来自@EdMorton 的编辑（对不起，如果这是一个不需要的添加，但我认为它可能有助于证明问题）：

考虑这个 RS 设置和输入（在 cygwin 上）：

$ awk 'BEGIN{printf "\"%s\"\n", RS}' | cat -v
"
"
$ echo -e "line1\r\nline2" | cat -v
line1^M
line2

这是带有 gawk 的 Solaris：

$ echo -e "line1\r\nline2" | awk '1' | cat -v   
line1^M
line2

这是带有 gawk 的 cygwin：

$ echo -e "line1\r\nline2" | awk '1' | cat -v
line1
line2

RS 只是它的默认换行符，那么 cygwin 中的 control-M 去了哪里？

Answer 1

我刚刚咨询了 Arnold Robbins（gawk 的提供者），答案是它是由 C 库完成的，要阻止它发生，您应该将 awk BINMODE 变量设置为 3：

$ echo -e "line1\r\nline2" | awk '1' | cat -v
line1
line2

$ echo -e "line1\r\nline2" | awk -v BINMODE=3 '1' | cat -v
line1^M
line2

如果有兴趣，请参阅手册页了解更多信息。

Answer 2

似乎问题是 awk 在 Cygwin 下特定的。
我尝试了一些不同的方法，似乎awk 正在默默地处理输入数据中用\n 替换\r\n。

如果我们只是让awk 重复未修改的文本，它会在不询问的情况下“清理”回车：

$ echo -e "line1\r\nline2" | od -a
0000000   l   i   n   e   1  cr  nl   l   i   n   e   2  nl
0000015

$ echo -e "line1\r\nline2" | awk '{ print $0; }' | od -a
0000000   l   i   n   e   1  nl   l   i   n   e   2  nl
0000014

但是，它会保持其他回车不变：

$ echo -e "Test\rTesting\r\nTester\rTested" | awk '{ print $0; }' | od -a
0000000   T   e   s   t  cr   T   e   s   t   i   n   g  nl   T   e   s
0000020   t   e   r  cr   T   e   s   t   e   d  nl
0000033

使用_ 的自定义记录分隔符最终使回车保持不变：

$ echo -e "Testing\r_Tested" | awk -v RS="_" '{ print $0; }' | od -a
0000000   T   e   s   t   i   n   g  cr  nl   T   e   s   t   e   d  nl
0000020  nl
0000021

最有说服力的例子是在数据中包含\r\n，但不是作为记录分隔符：

$ echo -e "Testing\r\nTested_Hello_World" | awk -v RS="_" '{ print $0; }' | od -a
0000000   T   e   s   t   i   n   g  nl   T   e   s   t   e   d  nl   H
0000020   e   l   l   o  nl   W   o   r   l   d  nl  nl
0000034

awk 在输入数据中盲目地将\r\n 转换为\n，即使我们没有要求它这样做。

这种替换似乎是在应用记录分离之前发生的，这就解释了为什么RS="\r\n" 从不匹配任何东西。当awk 正在寻找\r\n 时，它已经在输入数据中将其替换为\n。