Spark + Kafka：如何使用 RDBMS 加入 kafka 流

Question

要求：我有不同的微服务向 Kafka 生成数据。我想收集信息、进行汇总并为报告构建表格。

为报告构建新表需要我从 Kafka 读取数据，将其与现有事实表进行比较，并在数据库中创建/更新新的 roes。

我当时的想法是使用 Spark Streaming 从 Kafka 主题中读取数据并与 RDBMS 数据库进行连接。

寻求帮助以了解连接的最佳方式。

Answer 1

JDBC 连接器和 CDC 更有效地通过数据库加载/上传数据。我们可以按照以下步骤进行：

1. 创建 CDC 或 JDBC Kafka 源连接器以将所有数据从 RDBMS 表（用户）加载到 Kafka 中

Please refer here JDBC Connector

1. 从两个 Kafka 主题创建 2 个 Kafka 流
2. 使用 Kafka Stream 加入和聚合加入

Please refer here Kafka Stream join

4. 一个。使用自定义 Java JDBC 更新回数据库
   或

   b.尝试将更新的数据发布到新主题并使用 JDBC 接收器连接器更新回 RDBMS DB 表。