通过定义正则表达式过滤日志文件答案

【问题标题】：filter log file by defining regexes通过定义正则表达式过滤日志文件
【发布时间】：2010-03-17 17:26:09
【问题描述】：

我有一些巨大的日志文件（50Mb；~500K 行），我需要开始过滤掉一些废话。日志文件是使用 log4j 生成的，具有以下基本模式：

[log-level] date-time class etc, etc  
log-message

我正在寻找一种方法来识别正则表达式开始和正则表达式结束（或类似的东西），这将过滤掉文件中的匹配条目，以便我可以更轻松地浏览这些海量文件。我的想法是，开始正则表达式将是日志级别，而结束正则表达式将是日志消息中的内容。我确信我可以编写一个 java 程序来完成这项任务，但我想在走这条路之前我会问社区。提前致谢。

让我扩展我的问题。假设我的日志文件中有以下 sn-p：

[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-3

[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-6

我想要一种过滤掉 logEntry1 和 logEntry2 的方法，所以我最终得到：

[DEBUG] date-time class etc, etc  
log-message-3

[DEBUG] date-time class etc, etc  
log-message-6

我希望通过定义一些正则表达式模式对来实现这一点。在上面的示例中，我想为 logEntry1 定义一对，为 logEntry2 定义另一个。

我希望这有助于澄清我的问题。

【问题讨论】：

最好添加一个更具体的示例。 [日志级别] 的可能性是什么？您如何判断日志消息行何时完成以及另一个项目何时开始？帮助我们帮助您。闻起来像 gawk 或 perl，但需要更多信息。
日志级别值：DEBUG、INFO、WARN、ERROR、FATAL 日志消息在遇到另一个日志级别时完成。
郑重声明，50mb 并没有那么大。
是的，真正的麻烦始于 1 Gig :-)

标签： java regex linux logging grep

【解决方案1】：

假设 log-message-1 和 log-message-2 以及独特的模式。

$ awk -vRS= '!/log-message-[12]/' ORS="\n\n" file
[DEBUG] date-time class etc, etc
log-message-3

[DEBUG] date-time class etc, etc
log-message-6

【讨论】：

我不确定我是否理解这是在做什么。这没有指定开始正则表达式。我确实注意到这会从我的日志中删除所有空白行。
我仍然不明白这是在做什么，但它似乎正在工作。我相信我可以使用这个 sn-p，在一个文件中定义我的一组正则表达式，读取文件，循环执行你的 sn-p 的每个正则表达式，我应该在那里。
该命令将记录分隔符设置为空行，因此从[..]到空行的每个块都被视为1条记录。然后模式搜索没有单词log-message-1 或log-message-2 的记录并将它们打印出来。就是这样。

【解决方案2】：

(zyx:~) % echo $T
[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-3

[DEBUG] date-time class etc, etc  
log-message-1

[WARN] date-time class etc, etc  
log-message-2

[DEBUG] date-time class etc, etc  
log-message-6
(zyx:~) % echo $T | perl -e '$_=join("", <>); s/\[DEBUG\][^\n]*\n(log-message-1|log-message-2).*?(?=\n\[(DEBUG|WARN)\]|$)//sg; s/\[WARN\].*?(?=\n\[(DEBUG|WARN)\]|$)//sg; print;'


[DEBUG] date-time class etc, etc  
log-message-3



[DEBUG] date-time class etc, etc  
log-message-6

【讨论】：

不不不。请不要在 perl 中使用$_=join("", <>);创建多字节字符串
作者说他有 50 MiB 的文件。如果他说大约 2 GiB 文件，我会写其他脚本。

【解决方案3】：

使用 awk 或 awk 风格的 perl 单行代码。

【讨论】：

确定...假设我是 awk 或 perl 专家，但我不是
awk 非常容易学习。你需要一点 awk 来解析这些文件。 perl 可以以相同的 awk 风格使用，语法简单。