Redis 用于超大内存缓存

Question

我打算考虑使用 Redis 在缓存中存储大量数据。目前我将它们存储在我自己用java编写的缓存中。我的用例如下。

我从一个来源获得 15 分钟的数据，我需要每小时汇总一次数据。因此，对于给定的对象 A，每小时我会得到 4 个值，我需要将它们聚合为一个值，我将使用的公式将是 max / min / sum。

我打算像下面这样使用敌人制造钥匙

a) 对象 id - 长

b) 时间 - 长

c) 属性 id - int（每个对象可能有很多属性，我需要为每个属性分别聚合）

所以最终键看起来像;

objectid_time_propertyid

每 15 分钟我可能会得到大约 50 到 6000 万个键，每次将属性值转换为双倍并应用公式（最大/最小/总和等）然后转换回字符串并存储时，我都需要获取这些键背部。 因此，我看到每个键在每种情况下都有一个读取和一个写入和转换。

我的问题如下。

1. 建议将 redis 用于此类用例，今后我可能会将每小时数据汇总到每天、每天到每周等等。
2. 缓存中读取和写入的性能如何（我在 Windows 上做了一个示例测试，100K 键读取和写入花费了 30-40 秒，这不是很好，但我在 windows 上做了，我最终需要在 linux 上运行。
3. 我想用redis的持久化功能，有什么优缺点？

如果有人真正使用redis作为memcache需要经常更新，请给个建议。

Answer 1

1. 建议将 redis 用于此类用例，今后我可能会将每小时数据汇总到每天、每天到每周等等。

建议取决于你问谁，但我当然认为 Redis 可以胜任这项工作。如果单个服务器还不够，您的描述表明数据集可以轻松分片，因此集群可以让您扩展。

不过，我建议您存储数据的方式稍有不同。首先，Redis 中的每个键都有开销，因此这些键越多，您需要的 RAM 就越多。因此，我建议不要为每个对象时间属性保留一个键，而是将哈希作为一种将一些值聚合在一起的方法。例如，您可以使用 object_id:timestamp 键并将 property_id:value 对存储在其下。

此外，我建议您仅保留聚合并使用新的测量值更新它们，而不是按时间戳为每个对象属性保留 4 个离散测量值并重新计算您的聚合。所以，你基本上会有一个object_id Hash，结构如下：

object_id:hourtimestamp  ->  property_id1:max = x
                             property_id1:min = y
                             property id1:sum = z

当获取新数据 - d - 对象的属性时，只需重新计算聚合：

property_id1:max = max(x, d)
property_id1:min = min(y, d)
property_id1:sum = z + d

对所需的每个分辨率重复相同的操作，例如使用object_id:daytimestamp 保存日级聚合。

最后，不要忘记在不再需要密钥后使它们过期（即为每小时计数器设置 24 小时 TTL 等等）。

还有其他可能的方法，主要是使用排序集，可适用于解决您的查询需求（请记住，存储数据是容易的部分 - 取回数据通常更难；））。

1. 缓存中读取和写入的性能如何（我在 Windows 上做了一个示例测试，100K 键读取和写入花费了 30-40 秒，这不是很好，但我在 windows 上做了，我最终需要在 linux 上运行。

Redis 在我的笔记本电脑上的 Linux 虚拟机上运行时，每秒执行超过 500K 的读取和写入操作。性能很大程度上取决于您如何使用 Redis 的数据类型和 API。考虑到您在 15 分钟内的 6000 万个值的吞吐量，或者大约 70K/秒的小数据写入，Redis 完全有能力处理这个问题。

1. 想用redis的持久化功能，有什么优缺点？

这是一个非常有据可查的主题 - 初学者请参阅 http://redis.io/topics/persistence 和 http://oldblog.antirez.com/post/redis-persistence-demystified.html。