解析多个日志文件的字符串

Question

我正在尝试从日志目录中解析多个日志文件，以在列表中搜索任意数量的字符串以及服务器名称。我觉得我已经尝试了一百万种不同的选项，并且只使用一个日志文件就可以正常工作。但是当我尝试浏览目录中的所有日志文件时，我似乎无处可去。

if args.f:
    logs = args.f
else:
    try:
        logs = glob("/var/opt/cray/log/p0-current/*")
    except IndexError:
        print "Something is wrong. p0-current is not available."
        sys.exit(1)

valid_errors = ["error", "nmi", "CATERR"]

logList = []
for log in logs:
    logList.append(log)



#theLog = open("logList")
#logFile = log.readlines()
#logFile.close()
#printList = []

#for line in logFile:
#    if (valid_errors in line):
#        printList.append(line)
#
#for item in printList:
#    print item


#    with open("log", "r") as tmp_log:

#       open_log = tmp_log.readlines()
#           for line in open_log:
#               for down_nodes in open_log:
#                   if valid_errors in open_log:
#                       print valid_errors

down_nodes 是一个预先填充的列表，位于脚本的上方，其中包含标记为关闭的服务器列表。

注释掉了一些我一直在努力的各种尝试。

logList = []
for log in logs:
    logList.append(log)

我认为这可能是将每个单独的日志文件放在一个列表中的方法，然后遍历这个列表并使用 open() 后跟 readlines() 但我在这里缺少某种逻辑..也许我我的想法不正确。

我真的可以在这里做一些指针。

谢谢。

Answer 1

所以你的最后一个 for 循环是多余的，因为 logs 已经是一个字符串列表。有了这些信息，我们可以遍历 logs 并为每个 log 做一些事情。

for log in logs:
    with open(log) as f:
        for line in f.readlines():
            if any(error in line for error in valid_errors):
                #do stuff

if any(error in line for error in valid_errors): 行检查line 以查看valid_errors 中的任何错误是否在行中。语法是一个生成器，它为valid_errors 中的每个error 生成error。

要回答您涉及down_nodes 的问题，我认为您不应将其包含在同一个any() 中。你应该尝试类似

if any(error in line for error in valid_errors) and \
    any(node in line for node in down_nodes):

Answer 2

首先你需要找到所有的日志：

import os
import fnmatch

def find_files(pattern, top_level_dir):
    for path, dirlist, filelist in os.walk(top_level_dir):
        for name in fnmatch.filter(filelist, pattern)
            yield os.path.join(path, name)

例如，查找当前目录中的所有*.txt 文件：

txtfiles = find_files('*.txt', '.')

然后从名字中获取文件对象：

def open_files(filenames):
    for name in filenames:
        yield open(name, 'r', encoding='utf-8')

文件中的最后一行：

def lines_from_files(files):
    for f in files:
        for line in f:
            yield line

由于您想查找一些错误，因此检查可能如下所示：

import re

def find_errors(lines):
    pattern = re.compile('(error|nmi|CATERR)')
    for line in lines:
        if pattern.search(line):
            print(line)  

您现在可以处理从给定目录生成的行流：

txt_file_names = find_files('*.txt', '.')
txt_files = open_files(txt_file_names)
txt_lines = lines_from_files(txt_files)
find_errors(txt_lines)

将日志作为数据流处理的想法源于 David Beazley 的谈话。