(Array|Linked)BlockingQueue 的 `offer` 性能不错，但为什么 `take` 太慢了？

Question

我有一个 Clojure 网络应用，基本结构是这样的：

• 服务器有一个 LinkedBlockingQueue 或 ArrayBlockingQueue（我都试过了）
• 多个线程接受网络连接，offer 工作到队列中
• 队列中的一个线程 take 在无限循环中处理每个获取的项目

我注意到take 调用存在严重的性能问题：

• 线程以非常快的速度offering 到队列中，并且队列很快将它们全部带走
• 一个工作线程take从队列中以非常慢的速度（比offer的速度慢200多倍）
• CPU 使用率非常低 - 所以工作人员根本不忙

在不使用队列的情况下，在基准测试情况下，相同的工作负载能够最大限度地利用 CPU 并以令人满意的速度完成。

那么在这种情况下，最好的排队技术是什么？

这是我的代码（少于 100 行）；

https://github.com/HouzuoGuo/Aurinko/blob/master/src/Aurinko/core.clj

编辑，我的观察细节：

• 我对请求处理速度进行了基准测试，它在不使用队列的情况下以每秒大约 8,000 个请求的速度工作。
• 我让服务器程序在排队请求时打印一条调试消息，并在完成处理请求时打印另一条消息。
• 我制作了一个简单的客户端程序，每秒向服务器发送大约 1,000 个请求。
• 服务器及时将所有请求排队，队列变成数千个元素。
• 根据调试消息，Worker（请求处理器）似乎仅以每秒大约 150 个请求的速度工作。

编辑：

感谢大家的帮助。我已经确认阻塞队列不是导致性能问题的原因。虽然我没有发现我的应用程序的性能瓶颈，但一定有一个地方。

最终编辑：

谢谢大家。性能瓶颈是由网络 IO 而非阻塞队列引起的。

Answer 1

您说：“CPU 使用率非常低 - 所以工作人员根本不忙”。您还说：“我已经确认阻塞队列不是导致性能问题的原因。虽然我没有发现我的应用程序中的性能瓶颈，但一定有一个地方。”

如果这两个陈述都是正确的，则可能是您的工作线程花费了大量时间等待 I/O。如果是这样，有一个简单的解决方案：运行多个工作线程！

或者可能是存在一些其他并发瓶颈（不是工作队列）。

您为什么不执行以下操作：编写一个小测试程序，将大约 1,000 个项目推送到工作队列中，然后开始运行在工作线程上运行的相同代码。当队列为空时，它应该退出。分析该程序。 （你的开发机器上设置了探查器吗？我喜欢使用 JIP。）

Answer 2

您看到的最可能的解释是队列为空，导致take() 等待。如果队列不为空，它会非常快。

我假设在 clojure 中的性能类似于在 Java 中的性能。

public static void main(String... args) throws InterruptedException {
    int runs = 20000;
    BlockingQueue<Integer> queue = new ArrayBlockingQueue<Integer>(runs + 1);
    BlockingQueue<Integer> queue2 = new LinkedBlockingQueue<Integer>(runs + 1);
    for (int i = 0; i < 10; i++) {
        testQueue(runs, queue);
        testTake(runs, queue);
        testQueue(runs, queue2);
        testTake(runs, queue2);
    }
}

private static void testQueue(int runs, BlockingQueue<Integer> queue) {
    long start = System.nanoTime();
    for (int i = 0; i < runs; i++)
        queue.offer(1);
    long time = System.nanoTime() - start;
    System.out.printf(queue.getClass().getSimpleName() + ": Average time to offer was %,d ns%n", time / runs);
}

private static void testTake(int runs, BlockingQueue<Integer> queue) throws InterruptedException {
    long start = System.nanoTime();
    for (int i = 0; i < runs; i++)
        queue.take();
    long time = System.nanoTime() - start;
    System.out.printf(queue.getClass().getSimpleName() + ": Average time to take was %,d ns%n", time / runs);
}

终于打印出来了

ArrayBlockingQueue: Average time to offer was 34 ns
ArrayBlockingQueue: Average time to take was 39 ns
LinkedBlockingQueue: Average time to offer was 78 ns
LinkedBlockingQueue: Average time to take was 54 ns

Answer 3

你确定 LinkedBlocingQueue 和 ArrayBlockingQueue 的结果是一样的吗？根据这两种数据结构的不同，从队列中提供和获取元素的效率是不同的。