【发布时间】:2021-03-23 05:11:16
【问题描述】:
我正在设计一个应用程序,我想在其中缓存数百万个数据,每个数据大约 10kb。我做了一些分析,并在使用 Redis、memcached 和 Scylla 作为缓存之间犹豫不决。一些专家可以建议哪一个最适合我的需求?
- 高性能
- 高可用性
- 高吞吐量
- 低价?
【问题讨论】:
标签: caching redis memcached scylla
我正在设计一个应用程序,我想在其中缓存数百万个数据,每个数据大约 10kb。我做了一些分析,并在使用 Redis、memcached 和 Scylla 作为缓存之间犹豫不决。一些专家可以建议哪一个最适合我的需求?
【问题讨论】:
标签: caching redis memcached scylla
全面披露 - 我从事 Scylla 项目。
我认为这是延迟和 HA 与成本的问题。作为基于 RAM 的系统,Redis 将是延迟最低的。如果您需要
Scylla 是一个基于磁盘的系统。那些在 Scylla 的 RAM 中的值将是低延迟的,但那些需要从磁盘中提取的值会更慢。因此,您的 99p 延迟可能会更慢。有多慢?取决于你的磁盘。 NVME 可以是 99p 3-5 毫秒。 SSD,可能需要 5-10 毫秒。如果这是一个可接受的延迟,那么 Scylla 的成本会低得多,因为即使是 NVME 也比 RAM 便宜得多。
至于 HA - Redis 和 memcached 旨在作为缓存。虽然您可以使用一些功能和框架来复制数据,但这些都是附加功能并增加了复杂性。 Scylla 是一个分布式系统设计。因此,允许多层 HA 的复制是内置的(节点、机架和 DC 可用性)
Redis(以及较小范围内的 memcached)是非凡的缓存。但是,根据您的用例,Scylla 可能是正确的选择。
【讨论】:
您提到的所有三个选项都是开源软件,因此定价相同 - 零 :-) 但是,Scylla 和 Redis 都是由公司(分别为 ScyllaDB 和 RedisLabs)编写和支持的,所以如果您的用例是关键任务,您可以选择向这些公司支付企业级支持费用,您可以向这些公司询问他们的价格。
三者之间更有趣的区别在于技术。
您描述了一个在缓存中有 10 GB 数据的用例。这个数量可以很容易地保存在内存中,因此像 Memcached 或 Redis 这样的完全内存数据库是很自然的选择。但是,您仍然需要问自己一些问题,这可能会导致您使用分布式数据库,例如 Scylla,具体取决于您的答案:
您会使用功能强大的多核机器吗?如果是这样,您可能应该排除 Memcached - 我的经验(和其他人的经验) - 请参阅 Can memcached make full use of multi-core?) 表明它不能很好地与许多内核一起扩展。在 8 核机器上,您将无法获得接近单核机器 8 倍的性能。 Redis 也不是真正的多核使用——https://redis.io/topics/benchmarks 说 Redis“并非旨在从多个 CPU 内核中受益。人们应该启动多个 Redis 实例以在需要时在多个内核上横向扩展。”。另一方面,Scylla 在多核机器上茁壮成长。在做出决定之前,您可能应该在您的用例中测试所有三种产品的性能。
突然丢失缓存的全部内容会带来多大的灾难?在某些用例中,这只是意味着您需要查询一些稍慢的后端服务器,因此在重新启动时突然丢失缓存是可以接受的。在这种情况下,像 Memaced 或 Redis 这样的纯内存缓存可能正是您所需要的。但是,在其他情况下,使用空缓存从头开始可能会带来很大的损失——后端服务器可能非常慢,或者原始内容可能存储在具有缓慢且昂贵的 WAN 的远程服务器上。在这种情况下,您需要磁盘支持的缓存,因此如果内存缓存丢失,您仍然可以从磁盘而不是后端服务器刷新它。 Redis 有磁盘备份选项,在 Scylla 中磁盘备份是主要方式。
您提到了一个 10 GB 的工作集,可以轻松容纳单个服务器的内存。但是这是否可能会增长,并且在一年内您会发现自己需要缓存 100 GB 或 1 TB,这不再适合单个服务器的内存?在 memcached 中,您将不走运。 Redis 曾经为此提供“虚拟内存”解决方案,但它已被弃用,https://redis.io/topics/virtual-memory 现在声明 Redis“至少目前没有考虑支持大于 RAM 的数据库”。 Scylla 确实以两种方式处理这个问题。首先,您的缓存将存储在比内存大得多的磁盘上(并且您拥有的任何内存量都将用于进一步加速该缓存,但它不需要适合内存)。其次,Scylla 是一个分布式服务器。它可以将 100 GB 的工作集分配给 10 个不同的节点。 Redis 也有“复制”,但它会将整个数据复制到所有节点——而 Scylla 可以选择将不同的数据子集存储在不同的节点上。
【讨论】:
内存实际上是一件坏事,因为 RAM 昂贵且不持久。 因此 Scylla 将是 K/V 或柱状工作负载的更好选择。 Scylla 也有一个有限的 Redis api,效果很好 [1],使用 CQL api 会带来更好的结果。
[1]https://medium.com/@siddharthc/redis-on-nvme-with-scylladb-5e12afd38dbc
【讨论】: