Redis：计算集合中项目出现的最佳方法

Question

我有一个列表，其中包含 40K 项可能存在于 3K 个集合中，我想计算每个项目存在多少个集合。

Python 中的简单算法并为简单起见省略了一些管道优化：

ids = [1,2,3,4,5]
set1 = (1,3)
set2 = (2,3)
set3 = (4,5)
sets = [set1, set2, set3]

ids_count = {}
for id in ids:
    ids_count[id] = sum([redis.sismember(id, set) for set in sets])

它将需要 120M 的 redis 调用或 3K 使用流水线，两者都非常慢。 在不改变数据存储方式的情况下有更好的方法（我已经有了 id 列表和 redis 上的集合列表）

Answer 1

我认为最有效的方法是下载整个内容（所有集合和所有 ID，正如您所描述的那样，无论如何您最终都会这样做），然后在内存中执行所有操作。此外，您的算法可能会在没有成员资格检查的情况下更有效地迭代集合，如下所示：

# ...
for set in sets:
    for id in set:
        if id not in ids_count:
            ids_count[id] = 0
        ids_count[id] += 1

这是假设您的性能受网络限制。但是您必须对此进行基准测试才能确定。