使用 Kafka 队列中的数据的流式作业与循环批处理作业

Question

例如，如果我有一个始终在运行的 Java 应用程序，并且它在到达时从 Kafka 队列中读取数据，目的是获取数据并将其转发到数据库......循环执行批处理作业而不是通过 Kafka Streaming/Kafka Connect 执行？考虑到我不是在每个循环中毫无意义地创建或浪费资源，并且我正在正确处理多线程，是否有任何主要的缺点或不这样做的理由？对于长期运行的应用程序来说，这是一个可行的选择吗？

（我有理由不将 Kafka Streams/Connect 与我们的用例一起使用）

Answer 1

因此，我与我的参谋工程师进行了交谈。事实证明，只要您正确执行，通过批处理作业执行无限循环是一个可行的选择。这意味着您已经微调了配置，在循环之间短暂暂停，并且您正在正确处理任何连接/消费者/生产者的生命周期（如果它们失败）。另一个团队已经在 prod 环境中这样做了。