Python中的地图和列表理解

Question

所以我对列表理解和 map/filter/reduce 的概念相当陌生，但觉得这可以用几行和更少的标识来完成：

ip_tlsv1_counts = {}

for filename in os.listdir(directory_path):
    if filename.endswith(LOG_FILE_EXTENSION):
        with open(os.path.join(directory_path, filename)) as file_handle:
            for line_contents in file_handle:
                line_groups = re.search(LOG_LINE_REGEX, line_contents)
                if line_groups and line_groups.group(8) == "TLSv1":
                    if not line_groups.group(2) in ip_tlsv1_counts:
                        ip_tlsv1_counts[line_groups.group(2)] = 1
                    else:
                        ip_tlsv1_counts[line_groups.group(2)] += 1

return ip_tlsv1_counts

Answer 1

我会使用一个生成器函数来遍历特定文件夹中具有特定扩展名的所有文件：

def filter_files(directory, extension):
    for filename in os.listdir(directory):
        if filename.endswith(extension):
            with open(os.path.join(directory, filename)) as file_handle:
                yield file_handle

然后遍历所有这些文件的所有行，您只需在该生成器的结果上使用itertools.chain.from_iterable。

接下来，您可以使用re.compile(LOG_LINES_REGEX) 来获得编译模式，这会提高性能，并且可以在map 中使用它的.search 方法：

log_line_re = re.compile(LOG_LINE_REGEX)
all_log_lines = itertools.chain.from_iterable(filter_files(directory_path, LOG_FILE_EXTENSION))

for line_groups in map(log_line_re.search, all_log_lines):
    if line_groups and line_groups.group(8) == "TLSv1":
        yield line_groups.group(2)

这将是一个生成器，可生成与其他条件匹配的所有 line_groups.group(2)，因此要计算所有频率，您只需构造一个带有其结果的 Counter。

所以最终的代码应该是这样的：

def filter_files(directory, extension):
    for filename in os.listdir(directory):
        if filename.endswith(extension):
            with open(os.path.join(directory, filename)) as file_handle:
                yield file_handle

def get_part_of_log_files():
    log_line_re = re.compile(LOG_LINE_REGEX)
    all_log_lines = itertools.chain.from_iterable(filter_files(directory_path, LOG_FILE_EXTENSION))

    for line_groups in map(log_line_re.search, all_log_lines):
        if line_groups and line_groups.group(8) == "TLSv1":
            yield line_groups.group(2)

def original_function():
    return collections.Counter(get_part_of_log_files())

Answer 2

如果你使用 python 3.4+，你可以使用pathlib 模块：

from pathlib import Path
from collections import Counter

ip_tlsv1_counts = Counter()

for path in Path(directory_path).glob('*' + LOG_FILE_EXTENSION):
    with path.open() as f1:
        for line in f1:
            line_groups = re.search(LOG_LINE_REGEX, line)
            if line_groups and line_groups.group(8) == "TLSv1":
                ip_tlsv1_counts[line_groups.group(2)] += 1

return ip_tlsv1_counts