我们有一个存储在 redis 中的数字列表作为键（3 亿键是 10 位数字键）。
我们的用户向我们提供了一个包含大约 100 万个数字的列表，并希望我们从这些数字中取出一个在 redis 中不存在的子集作为键。期望在亚秒内得到结果，我们一直在尝试使用 Redis。
最初它看起来是正确的方法（使用 EXISTS），但现在我们质疑是否有更好的方法来获得结果，而无需遍历这些数字并创建子集。
有人可以告诉我们如何有效地做到这一点吗？
【问题讨论】：
标签： performance redis bigdata
我知道的老问题，但我认为它应该得到更全面的答案。
从 redis 获取所有密钥然后进行包含测试的问题是，每次检查都必须从 redis 中提取 300m 个密钥，或者保留这些密钥的“本地”副本，这会破坏 redis 中的要点。
与其把数据交给处理，不如把处理交给数据。
你可以使用redis sets，让redis做set diffing。
这里使用python-redis，但显然redis的执行可以用任何语言完成。
import os, base64, time, redis
r = redis.Redis()
def create_keys(n, size=10):
data = base64.b64encode(os.urandom(n * size))
return [data[i:i+size] for i in range(0, n * size, size)]
if not r.exists('ref_keys'):
for _ in range(3):
r.sadd('ref_keys', *create_keys(1*10**6))
print('{} keys in reference key set'.format(r.scard('ref_keys')))
existing_keys = r.srandmember('ref_keys', number=50*10**3)
keys_to_check = existing_keys + create_keys(50*10**3)
start = time.time()
try:
r.sadd('check_ref', *keys_to_check)
missing = r.sdiff('check_ref', 'ref_keys')
finally:
r.delete('check_ref')
print('number of missing keys: {}, time taken {:0.3f}s'.format(len(missing), time.time() - start))
（这里的大部分代码（和时间）都用于创建测试用例。）
只需要传输选中的 1m 密钥，而不是全部 300m。
注意：由于记忆，我的ref_keys 集只有 30m 个密钥，收容测试用了 3 秒。 SDIFF 具有“时间复杂度：O(N)，其中 N 是所有给定集合中的元素总数。”所以我怀疑你很难在商品硬件上将时间控制在 1 秒以下。
【讨论】：
是的，您应该避免在用户列表上循环并为每个键使用 EXISTS。与常用语言中的变量操作相比，Redis 命令相对较慢（因为客户端/服务器架构）。
我建议的一个解决方案需要一些编码：我将使用 KEYS (http://redis.io/commands/keys) 获取所有现有密钥，然后对结果和用户列表进行排序。 然后您可以实现快速搜索以检查用户的密钥是否在 redis 密钥中。
其实你可以在 Python 中使用 set，区别已经编码 http://docs.python.org/2/library/sets.html （这是未排序的，但实现是一个字典，它是一个哈希表）。
【讨论】：