awk + ​​过滤日志文件

Question

我使用了以下不错的 awk 命令来过滤重复行

示例：

cat LogFile | awk '!seen[$0]++'

问题是在某些情况下我们需要过滤重复的行，尽管某些字段不同并且它们并不那么重要

例如

日志文件：

 [INFO],[02/Jun/2014-19:30:45],EXE,ds1a,INHT VERION , 1.4.4.3-08
 [INFO],[02/Jun/2014-19:31:25],EXE,ds1a,INHT VERION , 1.4.4.3-08
 [INFO],[02/Jun/2014-19:32:40],EXE,ds1a,INHT VERION , 1.4.4.3-08

请看一下这个文件 - LogFile

我需要从第三个分隔符“,”中删除重复的行，直到行尾，

不管第三个分隔符之前是什么

所以最后我应该得到这个过滤后的文件：（应该总是得到列表中的第一个）

    [INFO],[02/Jun/2014-19:30:45],EXE,ds1a,INHT VERION , 1.4.4.3-08

所以请帮我完成我的任务

如何从第三个分隔符“,”中过滤掉LofFile，并忽略以下字段：[INFO],[...........],EXE ,

备注——植入也可以用perl one liner line

Answer 1

使用 GNU awk 进行 gensub()：

$ awk '!seen[gensub(/([^,]*,){3}/,"","")]++' file
[INFO],[02/Jun/2014-19:30:45],EXE,ds1a,INHT VERION , 1.4.4.3-08

使用任何支持 RE 间隔的 awk（大多数现代 awk）：

$ awk '{key=$0; sub(/([^,]*,){3}/,"",key)} !seen[key]++' file
[INFO],[02/Jun/2014-19:30:45],EXE,ds1a,INHT VERION , 1.4.4.3-08

Answer 2

你可以拥有：

awk 'BEGIN{FS=OFS=","}{o=$0;$1=$2=$3=""}!seen[$0]++{print o;}' ...

Answer 3

使用 perl 单行：

perl -lne '$k = s/(.*?,){3}//r; print if !$seen{$k}++' file.log

输出：

[INFO],[02/Jun/2014-19:30:45],EXE,ds1a,INHT VERION , 1.4.4.3-08

说明：

开关：

• -l：启用行尾处理。 （仅当日志文件的最后一行缺少新行时才需要）
• -n：为输入文件中的每一行创建一个 while(<>){..} 循环。
• -e：告诉perl 在命令行上执行代码。

代码：

• $k = s/(.*?,){3}//r：保存变量$k中第三个逗号之后的所有内容
• print if !$seen{$k}++：如果之前没有看到密钥，则打印该行。

Answer 4

使用自动拆分的方式略有不同：

perl -aF, -ne'print unless $seen{"@F[3..$#F]"}++' logfile.txt