Kafka用例替换控制M作业

Question

我在生产中运行的控制 M 作业很少..
第一项工作 - 加载 csv 文件记录并插入数据库临时表 第二个工作 - 为暂存表中的每条记录执行数据浓缩 第三项工作 - 从暂存表中读取数据并插入到另一个表中。

目前我们使用 apache camel 来做到这一点。

我们有大树枝 confluent kafka 许可证，所以我们想使用 kafka..

设计方案

1. 创建 csv kafka 源连接器以从 csv 读取数据并插入到 kafka 输入主题
2. 创建 spring cloud kafka 流绑定应用程序以从输入主题中读取数据，丰富数据并推送到输出主题
3. 让 kafka sink 连接器将数据从输出主题推送到数据库

问题现在在第二步中，我们需要连接数据库来丰富数据，当在 youtube 上观看视频时，它说 spring cloud kafka 流活页夹不应该有数据库连接。那么我应该如何设计我的流程？我应该使用什么弹簧技术？

Answer 1

没有什么可以阻止您建立数据库连接，但是如果您将数据库表读入 Kafka 流/表，那么您可以使用 Kafka Streams 连接而不是远程数据库调用来连接和丰富数据