【问题标题】:Which caching mechanism to use in my spring application in below scenarios在以下情况下,在我的 Spring 应用程序中使用哪种缓存机制
【发布时间】:2017-09-14 00:02:07
【问题描述】:

我们正在使用带有 Maria DB 数据库的 Spring Boot 应用程序。我们从不同的服务中获取数据并存储在我们的数据库中。在调用其他服务时,我们需要从 db 中获取数据(基于映射)并调用该服务。 因此,为了避免数据库命中,我们希望将所有映射数据缓存在缓存中,并使用它来检索数据并调用服务API。

所以我们的要求是 - 在数据库中创建数据时将数据添加到缓存中(最多可添加数百万条记录),并在列值之一的状态为“xyz”(例如)或基于驱逐时从缓存中删除政策。

我们应该使用 Hazelcast/ehCache 还是 Redis/Couch base 使用内存缓存?

请提出建议。

谢谢

【问题讨论】:

  • 在证明需要它之前不要构建缓存层。届时,您将获得信息来帮助您回答自己的问题。
  • @RickJames:感谢您的回复。由于我们需要获得几乎实时的响应,我们不希望多次调用和数据库命中的开销。因此尝试构建缓存并从那里检索数据以备使用。请分享您的想法。
  • 缓存延迟,尤其是在更新过程中,是否小于“多次调用和数据库命中”?
  • 不延迟缓存本身,也为了避免延迟,希望将更新发送到缓存,然后在数据库中写入,以便在下一次读取调用时,它可以在缓存中使用。
  • 那么,您是在询问“将更新发送到缓存”与“额外的数据库命中”之间的权衡?

标签: spring-boot redis mariadb ehcache hazelcast


【解决方案1】:

我基本同意 Rick 的观点,即在您需要之前不要构建它,但是现在重要的是要尽早考虑这个缓存层以后适合的位置以及如何集成它(例如使用接口)。将其添加到未准备好的系统中始终是可能的,但成本更高(以小时计)且复杂。

好的,实际问题;免责声明:Hazelcast 员工

一般来说,缓存 Hazelcast、ehcache、Redis 等都是不错的选择。不过,您要问自己的第一个问题是,“我可以在单台机器的内存中保存所有必要的记录吗?特别是对于 ehcache,您可以获得复制(所有机器都保存所有信息),这意味着每个节点都需要保留它们在内存中。根据您要缓存的大小,可能不是最优的。在这种情况下,Hazelcast 可能是更好的选择,因为我们在集群中分区数据并优化对单个网络跃点的访问,从而最大限度地减少网络延迟的开销。

第二个问题是关于序列化的。您想以高度优化的序列化方式存储信息(需要将代码转换为人类可读的)还是以 JSON 形式存储?

第三个问题是关于将访问数据存储的客户端和线程的数量。显然,像 ehcache 这样的本地缓存始终是最快的选择,以权衡大量内存。除此之外,最重要的事实是内存存储使用的踩踏模型。它要么是多线程且可以很好地扩展,要么是单线程概念,当您耗尽此线程时会成为瓶颈。这是为了克服更多的流程,但它是充分利用当今系统的一种解决方法。

更笼统地说,您提到的每个系统都可以完成这项工作。然而,最好的工具应该由 POC / 原型和您的实际用例来选择。重要的是现实世界,因为单个线程在低压下表现惊人(显然更快),但当耗尽时将成为主要瓶颈(再次明显延迟响应)。

我希望这会有所帮助,因为至少对我而言,像“是的,我们是最好的选择”这样的每一个回答对于说这句话的人来说都是立即拒绝的。

【讨论】:

  • 感谢@noctarius 提供的详细信息。为了回答您的问题,我们将在应用程序中使用多个节点,以便缓存数据可以跨节点分区。关于数据持久性,我们将字段值存储在数据库的相应列中,并希望使用添加的值更新缓存。关于客户端,将有数千个客户端访问应用程序,因此将产生多个线程并访问数据。此外,缓存可以在某个时间点保存 1500 万条记录,这也是我开始考虑其他选择的地方。
  • 当一个值改变时,这些缓存是如何更新的?是“穿越”还是别的什么?您是否使用一种语言来查看缓存并使用另一种语言 (SQL) 来查看数据库?缓存和数据库是否会竞争 RAM,从而需要额外的机器?
  • 缓存应该更新为“直写”。我们可能会在服务器上创建多个节点并相应地实现缓存。我们将在我们的 java 应用程序中配置缓存。
  • 另外,如果我们想根据属性值从缓存中删除/驱逐条目,可以通过配置实现吗?例如,我可以看到不同的驱逐方法,如 LRU、FIFO、随机等。它可以有自定义值(基于属性值的条件)吗?请建议
【解决方案2】:

【讨论】:

  • 感谢@Rick 提供信息。我会试试这个。
猜你喜欢
  • 2016-02-19
  • 1970-01-01
  • 2016-03-15
  • 1970-01-01
  • 1970-01-01
  • 2016-11-07
  • 2013-10-08
  • 1970-01-01
相关资源
最近更新 更多