优化python中大文件的正则表达式和文件读取操作

Question

现在我有两个大文件，pattern file和log file，每个都有超过300,000行。模式文件的格式如下：

Line 1 : <ID>   <Dialog1>    <ReplyStr>    <Dialog2>    
// the ReplyStr is needed as a pattern

日志文件的格式如下：

Line 1 : <LogData>    <ReplyStr>    <CommentOfReply>   
// get all CommentOfReply, whose ReplyStr is from the pattern file

我的任务是从特定回复中获取所有评论，以分析用户对这些给定回复的情绪。所以这是我一步一步做的：

1. 挑选所有模式和日志，它们都使用正则表达式，
2. 然后将它们与字符串比较操作一起匹配。

我需要优化代码，目前需要 8 个小时才能完成。

配置文件如下（在前 10 个循环中使用 cProfile）：

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000   19.345   19.345 <string>:1(<module>)
        1    7.275    7.275   19.345   19.345 get_candidate2.py:12(foo)
  3331494    2.239    0.000   10.772    0.000 re.py:139(search)
  3331496    4.314    0.000    5.293    0.000 re.py:226(_compile)
      7/2    0.000    0.000    0.000    0.000 sre_compile.py:32(_compile)
                            ......
  3331507    0.632    0.000    0.632    0.000 {method 'get' of 'dict' objects}
  3331260    0.560    0.000    0.560    0.000 {method 'group' of '_sre.SRE_Match' objects}
        2    0.000    0.000    0.000    0.000 {method 'items' of 'dict' objects}
        2    0.000    0.000    0.000    0.000 {method 'remove' of 'list' objects}
  3331494    3.241    0.000    3.241    0.000 {method 'search' of '_sre.SRE_Pattern' objects}
        9    0.000    0.000    0.000    0.000 {method 'split' of 'str' objects}
  6662529    0.737    0.000    0.737    0.000 {method 'strip' of 'str' objects}

从配置文件来看，似乎所有耗时都来自re.search()。我不知道如何减少它。

Answer 1

感谢@MikeSatteson 和@tobias_k 的帮助，我弄明白了。

要从给定的回复字符串（来自pattern file）中挑选出所有的评论字符串（来自日志文件），解决方法是：

1. 需要一个dict，key是回复字符串，value是评论字符串列表。
2. 从pattern file中挑选出所有回复字符串，作为dict的key set。
3. 从日志文件中挑选出所有的reply-comment对，如果dict的key set包含reply，则将comment附加到comment list中。

代码如下：

my_dict = {}
with open('pattern file', 'r') as pattern_file:
    for line in pattern_file:
        reply = get_reply(line)
        my_dict[reply] = list()     

with open('log file', 'r') as log_file:
    for line in log_file:
        pair = get_comment_reply_pair(line)
        reply = pair.reply
        comment  = pair.comment
        if reply in my_dict:
            l = my_dict[reply]
            l.append(comment)