生产者/消费者 - 生产者将数据添加到集合而不阻塞，消费者批量消费来自集合的数据

Question

我有一个有点不寻常的生产者/消费者用例。 我有一些生产者的真实世界用例，我希望他们能够将对象添加到集合中而不会阻塞。 消费者（只有一个）应该阻塞，直到集合中有一定数量的对象可用（例如 500），然后批量消费它们。虽然少于 500 个，但它应该阻塞并等待集合填满。我不介意队列是否在短时间内超过此值（700、1000 等）。

我目前似乎没有找到解决这个确切问题的解决方案。 我正在考虑使用 ConcurrentLinkedQueue 并让消费者定期检查队列是否有足够的数据，但这似乎适得其反。

另一个想法是使用 LinkedBlockingQueue。生产者不会阻塞（除非队列已满，这意味着它具有 Integer.MAX_VALUE 值 - 这不是我的情况，所以一切都很好）。消费者将执行 queue.take() 并将元素添加到内部集合中。当内部集合达到 500 个元素时，它将批量消耗它们。

你有什么建议吗？

谢谢！

Answer 1

最后我选择了 LinkedBlockingQueue。

生产者将项目添加到队列中。

消费者将执行 queue.poll() 并将项目保存到内部集合中。当内部集合达到 500 个元素时，它将批量消耗它们。我还可以设置一些超时。例如，如果 X 秒过去了，我将使用该集合，即使它的项目少于所需的项目（例如 220）。

Answer 2

你可以简单地引入一个中间队列和消费者/生产者，它会从生产者填充的队列中获取项目，将它们存储在一个列表中，一旦列表大小为 500，将列表本身放入队列中读取由消费者。消费者会一直阻塞，直到下一个 500 项列表可用。

当然，您也可以将此逻辑封装在生产者共享的对象中：生产者将他们的项目添加到“Batcher”对象中。批处理器对象将项目添加到私有列表中，一旦列表大小为 500，批处理器将列表添加到队列中。只要确保批处理器的 addItem() 方法是同步的。这将避免额外的线程和队列。