设计 AppServer 面试讨论

Question

我在最近的一次系统设计面试中遇到了以下问题：

设计一个与缓存和数据库接口的 AppServer。

我想出了这个：

public class AppServer{
    public Database DB;
    public Cache cache;

    public Value get(Key k){
        Value res = cache.get(k);
        if(res == null){
            res = DB.get(k);
            cache.set(k, res);
        }
    }

    public void set(Key k, Value v){
        cache.set(k, v);
        DB.set(k, v);
    }
}

此代码很好并且可以正常工作，但是对问题的跟进是：

1. 如果有多个线程怎么办？
2. 如果有多个 AppServer 实例怎么办？
3. AppServer 性能突然下降很多，我们发现这是因为我们的缓存一直丢失。缓存大小是固定的（已经是最大的了）。我们如何防止这种情况发生？

回复：

1. 我回答说我们可以使用锁或条件变量。在 Java 中，我们可以在每个方法中添加 Synchronized 以实现互斥，但面试官提到这样做效率不高，只希望同步关键部分。

我以为我们只需要同步void set(Key k, Value v)中的2个set行和Value get(Key k)中的1个set方法，但是面试官要求也同步res = DB.get(k);。我最后同意了他的观点，但并不完全理解。线程没有独立的栈和共享的堆吗？所以当一个线程执行get时，它会将res存储在栈帧上的局部变量中，即使另一个线程顺序执行get，前一个线程也会保留它的get值。然后每个线程设置各自获取的值。

1. 我们如何处理 AppServer 的多个实例？

我想出了一个像 Kafka 这样的分布式队列解决方案，每次我们执行 set / get 命令时，我们都会将该命令排队，但他也提到 set 是可以的，因为该操作在缓存 / db 中设置了一个值，但是如何你会返回正确的值吗？有人可以解释一下吗？

还有版本控制系统和事件系统的可能解决方案吗？

1. 可能的解决方案：
   • L1、L2、L3 缓存 - 层和更多缓存
   • 区域/分段缓存 - 为用户组使用不同的缓存。
   • 还有其他想法吗？

将支持所有有见地的回复:)

Answer 1

1

虽然 JDBC “假定”是线程安全的，但某些驱动程序不是，我将假设 Cache 也不是线程安全的（尽管大多数缓存应该是线程安全的），所以在这种情况下，你会需要对您的代码进行以下更改：

1. 将两个字段设为最终字段
2. 同步整个get(...)方法
3. 同步整个set(...)方法

假设没有其他方法可以访问上述字段，get(...) 方法的行为取决于两件事：首先，可以看到来自 set(...) 方法的更新，其次，缓存未命中是然后仅由单个线程存储。您需要同步，因为这个想法是只有一个线程在缓存未命中的情况下执行昂贵的数据库查询。如果您不同步整个get(...) 方法，或者您拆分了同步语句，则另一个线程也可能在查找和插入之间看到缓存未命中。

老实说，我回答这个问题的方式就是把整个事情都扔掉。我会看看JCIP 是如何编写缓存的，并以此为基础回答。

---

2

我认为您的队列解决方案很好。

我相信你的面试官的意思是，如果 AppServer 的另一个实例没有缓存 set(...) 的另一个实例 set(...) 的内容，那么它会在数据库中查找并找到正确的值。如果您使用多个线程，此解决方案将不正确，因为 2 个线程可能是 set(...)ing 冲突值，然后缓存将有 2 个不同的值，而取决于您的数据库的线程安全，它甚至可能没有完全没有价值。

理想情况下，您永远不会创建多个 AppServer 实例。

---

3

我没有足够的经验来专门评估这个问题，但也许 LRU 缓存会在一定程度上提高性能，或者使用哈希环缓冲区。这可能有点费力，但如果您想放弃，甚至使用 ML 来确定预加载以在一天中的某些时间保留的最佳值，例如，也可以工作。

如果您的缓存中总是缺少值，则无法改进您的代码。性能取决于您的数据库。