【发布时间】：2013-08-28 17:30:26
【问题描述】：
我已经阅读了我能找到的所有文章，甚至理解了其中的一些，但作为一个 Python 新手，我仍然有点迷茫，希望得到帮助:)
我正在编写一个脚本以从特定于应用程序的日志文件中解析感兴趣的项目，每一行都以我可以匹配的时间戳开始，我可以定义两件事来识别我想要捕获的内容，一些部分内容和一个字符串，它将终止我要提取的内容。
我的问题是多行的，在大多数情况下，每个日志行都以换行符终止，但某些条目包含的 SQL 中可能有新行，因此会在日志中创建新行。
所以，在一个简单的情况下，我可能有这个：
[8/21/13 11:30:33:557 PDT] 00000488 SystemOut O 21 Aug 2013 11:30:33:557 [WARN] [MXServerUI01] [CID-UIASYNC-17464] BMXAA6720W - USER = (ABCDEF) SPID = (2526) app (ITEM) object (ITEM) : select * from item where ((status != 'OBSOLETE' and itemsetid = 'ITEMSET1') and (exists (select 1 from maximo.invvendor where (exists (select 1 from maximo.companies where (( contains(name,' $AAAA ') > 0 )) and (company=invvendor.manufacturer and orgid=invvendor.orgid))) and (itemnum = item.itemnum and itemsetid = item.itemsetid)))) and (itemtype in (select value from synonymdomain where domainid='ITEMTYPE' and maxvalue = 'ITEM')) order by itemnum asc (execution took 2083 milliseconds)
这一切都显示为一行，我可以与之匹配：
re.compile('\[(0?[1-9]|[12][0-9]|3[01])(\/)(0?[1-9]|[12][0-9]|3[01])(\/)([0-9]{2}).*(milliseconds)')
但是在某些情况下，SQL 中可能存在换行符，因此我仍想捕获它（并可能用空格替换换行符）。我目前正在一次读取文件一行，这显然是行不通的，所以......
- 我需要一次性处理整个文件吗？它们的大小通常为 20mb。如何读取整个文件并遍历它以查找单行或多行块？
- 如何编写一个多行 RegEx 来匹配一行中的整个内容或分布在多行中的内容？
我的总体目标是对其进行参数化，以便我可以使用它来提取与起始字符串（始终是行的开头）、结束字符串（我想要捕获到的位置）和值的不同模式匹配的日志条目那是它们之间的标识符。
提前感谢您的帮助！
克里斯。
import sys, getopt, os, re
sourceFolder = 'C:/MaxLogs'
logFileName = sourceFolder + "/Test.log"
lines = []
print "--- START ----"
lineStartsWith = re.compile('\[(0?[1-9]|[12][0-9]|3[01])(\/)(0?[1-9]|[12][0-9]|3[01])(\/)([0-9]{2})(\ )')
lineContains = re.compile('.*BMXAA6720W.*')
lineEndsWith = re.compile('(?:.*milliseconds.*)')
lines = []
with open(logFileName, 'r') as f:
for line in f:
if lineStartsWith.match(line) and lineContains.match(line):
if lineEndsWith.match(line) :
print 'Full Line Found'
print line
print "- Record Separator -"
else:
print 'Partial Line Found'
print line
print "- Record Separator -"
print "--- DONE ----"
下一步，对于我的部分行，我将继续阅读，直到找到 lineEndsWith 并将这些行组合成一个块。
我不是专家，所以欢迎提出建议！
更新 - 所以我让它工作了，感谢所有帮助指导事情的响应，我意识到它并不漂亮，我需要清理我的 if / elif 混乱并使其更有效率，但它正在工作！感谢大家的帮助。
import sys, getopt, os, re
sourceFolder = 'C:/MaxLogs'
logFileName = sourceFolder + "/Test.log"
print "--- START ----"
lineStartsWith = re.compile('\[(0?[1-9]|[12][0-9]|3[01])(\/)(0?[1-9]|[12][0-9]|3[01])(\/)([0-9]{2})(\ )')
lineContains = re.compile('.*BMXAA6720W.*')
lineEndsWith = re.compile('(?:.*milliseconds.*)')
lines = []
multiLine = False
with open(logFileName, 'r') as f:
for line in f:
if lineStartsWith.match(line) and lineContains.match(line) and lineEndsWith.match(line):
lines.append(line.replace("\n", " "))
elif lineStartsWith.match(line) and lineContains.match(line) and not multiLine:
#Found the start of a multi-line entry
multiLineString = line
multiLine = True
elif multiLine and not lineEndsWith.match(line):
multiLineString = multiLineString + line
elif multiLine and lineEndsWith.match(line):
multiLineString = multiLineString + line
multiLineString = multiLineString.replace("\n", " ")
lines.append(multiLineString)
multiLine = False
for line in lines:
print line
【问题讨论】：
-
您是否尝试过使用
re.DOTALL标志？因此，您必须使.*部分变得懒惰（.*?），并且由于您是逐行阅读，因此如果您一次阅读整个文件，它将起作用。但是，我不确定内存/性能影响。 -
您可以尝试读取整个文件，然后使用与换行符后直接匹配时间戳的正则表达式拆分文本。这应该会为您提供一个连续的单个日志消息列表，除非您的用户将
"\n[8/21/13 11:30:33:557 PDT]"之类的内容嵌入到他们的 SQL 中......在这种情况下，您可能遇到了其他一些问题。 -
我现在开始怀疑，如果该行与我的“开始”和“包含”匹配，我是否最好逐行返回，以便我一次读取一行值我有一个匹配项，然后我需要检查“结束”标记，或者，如果它不存在，请继续阅读和附加行，直到找到它。我想我很幸运，因为我知道起点和终点总会在那里，我只需要寻找它们。
-
好吧，如果您已经知道如何分隔条目，请编写一个简单的包装器，从文件中读取并生成条目（或任何等效设计——这基本上是网络协议代码所做的，所以您可以在服务器示例代码中查找所有选项）非常容易。示例见here；只需将
split('\0')替换为适当的代码来分隔您的块。 （你可以把这个简明扼要，但我写它的方式可能对新手来说最容易理解。） -
我意识到这可能不是最佳的，但这是我目前要去的地方，我相信我要提取的每个类别的行都可以通过起始字符串和结束字符串来识别以及行内的一些特定模式（将始终与起始字符串在同一行）。因此，我正在尝试（和学习）这样的：