在大量列表中搜索时出现python性能问题

Question

我需要（显着地）加快在“巨大”单维无符号值列表中的搜索。该列表有 389.114 个元素，我需要在添加项目之前执行检查以确保它不存在 我做了 1500 万次这样的检查... 当然，这需要太多时间 我发现最快的方法是：

if this_item in my_list:
    i = my_list.index(this_item)
else:
    my_list.append(this_item)
    i = len(my_list)
    ...

我正在根据时间序列日志构建数据集 这些（巨大的）日志中的一列是一条短信，非常冗长 为了显着加快这个过程，我用 Adler32() 将这个文本转换成一个无符号的，并得到一个唯一的数值，这很棒 然后我将消息存储在 PostgreSQL 数据库中，并以此值为索引

对于我的日志文件的每一行（总共 1500 万条），我需要更新我的唯一消息数据库（389.114 条唯一消息） 这意味着对于每一行，我需要检查消息 ID 是否属于我的内存列表

我尝试了“... in list”，与字典、numpy 数组、将列表转换为字符串并使用 string.search()、在具有良好索引的数据库中进行 sql 查询相同... 当列表加载到内存中时，没有什么比“if item in list”更好的了（非常快）

if this_item in my_list:
    i = my_list.index(this_item)
else:
    my_list.append(this_item)
    i = len(my_list)

对于 1500 万次迭代，其中包含一些内容并且在列表中没有搜索： - 生成2张1500万行的表（特征和目标）需要8分钟 - 当我激活上面的代码来检查消息 ID 是否已经存在时，需要 1 小时 35 百万 ...

我该如何优化这个？

感谢您的帮助

Answer 1

如果你的代码大致是这样的：

my_list = []
for this_item in collection:
  if this_item in my_list:
    i = my_list.index(this_item)
  else:
    my_list.append(this_item)
    i = len(my_list)
    ...

然后它将在 O(n^2) 时间内运行，因为列表的 in 运算符是 O(n)。

如果您使用字典（通过哈希表实现），则可以实现线性时间：

my_list = []
table = {}
for this_item in collection:
  i = table.get(this_item)
  if i is None:
    i = len(my_list)
    my_list.append(this_item)
    table[this_item] = i
  ...

当然，如果您不关心按原订单处理商品，您可以这样做：

for i, this_item in enumerate(set(collection)):
  ...