从日志文件中删除双重 IP 地址答案

【问题标题】：remove double IP adresses from log files从日志文件中删除双重 IP 地址
【发布时间】：2021-05-25 15:54:22
【问题描述】：

我有一些日志文件。日志文件中有一些带有双 IP 地址的行。示例：

127.0.0.1 - - [02/Feb/2021:10:26:41 +0100] "GET /file"
127.0.0.1 - - [02/Feb/2021:10:26:44 +0100] "GET /file"
127.0.0.1 - - [02/Feb/2021:10:26:47 +0100] "GET /file"

我知道时间戳不同，但这并不重要。现在我想删除除一个条目之外的所有内容。注意：我不知道日志中的 IP 地址，因此工具/过滤器应该会自动找到重复项。

谢谢！

【问题讨论】：

要保留哪个条目，第一个还是最后一个？
我觉得最后一个还可以

标签： linux logging ip

【解决方案1】：

使用 awk

awk '{ map[$1]=$0 } END { for ( i in map ) { print map[i] } }' *.log

当我们处理文件的每一行时，使用字段空间分隔的字段作为索引和行作为值创建一个数组映射。在文件处理结束时，循环遍历打印值/行的数组。

【讨论】：