如何使用 STL 实现 LFU 缓存？

Question

我正在尝试使用纯 STL 实现 LFU（最不常用）缓存（我不想使用 Boost！）。

要求是：

• 使用Key 对任何元素进行关联访问，例如std::map。
• 能够释放最低优先级项目（使用其UsesCount 属性）。
• 能够更新任何项目的优先级 (UsesCount)。

问题是：

• 如果我使用std::vector 作为项目容器（Key、Value、UsesCount）、std::map 作为用于关联访问的向量的迭代器容器和std::make_heap、std::push_heap 和std::pop_heap 作为vector内的优先队列实现，map中的迭代器在堆操作后无效。
• 如果我在之前的配置中使用std::list（或std::map）而不是std::vector，则无法编译std::make_heap等，因为它们的迭代器不支持算术运算。
• 如果我想使用std::priority_queue，我无法更新项目优先级。

问题是：

• 我是否遗漏了一些显而易见的问题如何解决？
• 您能否以一些纯 C++/STL 实现的 LFU 缓存满足之前的要求为例？

感谢您的见解。

Answer 1

您使用 *_heap 函数和向量的 make 实现似乎很合适。虽然它会导致更新缓慢。对于使用向量作为底层数据结构的每个容器，您遇到的有关迭代器失效的问题是正常的。这也是boost::heap::priority_queue 采用的方法，但由于上述原因，它没有提供可变接口。其他boost::heap data-structures 提供更新堆的能力。

看起来有点奇怪：即使您能够使用std::priority_queue，您仍然会面临迭代器失效问题。

直接回答您的问题：您并没有遗漏一些明显的东西。 std::priority_queue 没有应有的用处。最好的方法是编写您自己的支持更新的堆实现。使其完全兼容 STL（尤其是分配器感知）相当棘手，而且不是一项简单的任务。最重要的是，实现 LFU 缓存。

第一步，查看 Boost 实现以了解工作量。我不知道第二个的任何参考实现。

要解决迭代器失效问题，您始终可以选择间接进入另一个容器，但您应该尽量避免它，因为它会产生额外的成本并且会变得非常混乱。

Answer 2

比保留两个数据结构更简单的方法：

• 只需保留一个映射，它将您的键映射到它们的值/使用计数对。
• 缓存已满时：
• • 为地图元素创建一个迭代器向量 (O(n))
• • 使用std::nth_element 找出最差的10% (O(n))
• • 将它们全部从地图中删除 (O(n log n))

因此，向缓存中添加新元素是常见情况O(log n)，最坏情况O(n log n)，摊销O(log n)。

在 LFU 缓存中删除最差的 10% 可能有点过激，因为新条目必须进入前 90%，否则它们会被删除。再说一次，如果您只删除一个元素，那么新条目仍然需要在下一个新条目之前从底部下降，否则它们会被删除，并且他们这样做的时间更少。因此，取决于为什么 LFU 是适合您的缓存策略，我对它的更改可能是错误的策略，或者仍然可以。