这是阻止kafkastreams的正确方法吗？

Question

我的工作是从远程数据库中获取数据并将它们加入到 kafka 流中（丰富）。我现在要做的是定期将远程数据库轮询到本地内存中。我认为当这个轮询操作发生时，应该暂时停止 kafka 流。我目前的想法是有这样的东西：

@Autowired
private KafkaStreams streams;

@Scheduled(cron = "0 0/15 * * * *")  // this method is scheduled to run every 15 minutes
public synchronized void process() {
    streams.close();
    processPolling();
    streams.start();
}

当方法开始运行时，流应该停止处理，然后轮询作业完成运行，流应该重新开始处理。

这是一个好习惯吗？有什么改进建议吗？

Answer 1

执行此操作的更好方法是将远程数据库流式传输到 Kafka 主题中，并在您的 Streams 作业中本地使用它们。 您可以使用JDBC Connector，或者根据您的源数据库是什么，有各种 CDC 选项。

启动和停止流使其成为批处理过程，流处理通过设计避免了相关的注意事项和复杂性。