拆分一个 Redis 大 ZSET

Question

我们有一个 Redis 密钥。这是一个名为test_key 的ZSET 结构。 关键是userId，比如123，456，789。分数是时间戳，比如1474194838，1474194839。它的长度达到了五千万。我们想拆分它，就像test_key_1、test_key_2、test_key_3。

如何拆分它可以使CRUD更容易？

我们是 java 开发者。最常用的Redis商品是zadd、zrem、zrange、zrangeByscore、zrangeByscoreWithScores、zcard等。

Answer 1

如果您必须将数据拆分为多个 Redis 实例，那么您需要一个代理将请求分派到一个或多个 Redis 实例，并合并来自这些实例的结果。代理可以实现为库或服务（例如 RPC 服务器）。

调度请求

假设您将数据分成 3 个部分，并存储在 3 个 Redis 实例中。为了保证负载均衡，proxy可以使用MurmurHash函数为每个userId创建一个hash key，并根据hash key将请求分派给一个或多个Redis实例。以zadd为例：zadd test_key userId score。

1. 计算 Redis 实例 id：id = MurmurHash(userId) mod 3
2. 发送zadd命令到对应的Redis：zadd test_key_id userId score

合并结果

当代理从一个或多个 Redis 实例中获取结果时，它会将结果合并并返回给客户端。以zcard为例：zcard test_key。

1. 从所有实例中获取结果：zcard1 = zcard test_key1、zcard2 = zcard test key2、zcard3 = zcard test_key3
2. 合并结果：zcard_res = zcard1 + zcard2 + zcard3
3. 将结果，即zcard_res，返回给客户端。

提高性能

为了提高性能，当代理向多个实例分派请求时，应该并行分派请求。