使用 Storm bolt 或 Spark-streaming 与 MongoDB 丰富数据

Question

我想创建一个 Storm Spout，它从 Apache Kafka 的主题中读取数据，并将这些数据发送到连接到 MongoDB 的 Storm Bolt，并查询我从 Kafka 收集的消息以丰富数据。例如：我有一个 personID（我是通过来自 Kafka 的消息获得的），我想使用这个 personID 在 MongoDB 中查询这个人的地址。在我的 MongoDB 集合中，每个文档都有 personID 和地址。

谁能给我一个例子，好吗？使用 Spark-streaming 的示例也非常棒。

Answer 1

我会这样处理：

1. 将您的数据所有流式传输到 Kafka，包括您的 MongoDB 扩充源（地址等）。您可以使用 Kafka Connect（Apache Kafka 的一部分）来执行此操作。查看这篇文章：Streaming Data from MongoDB into Kafka with Kafka Connect and Debezium。

2. 使用Kafka Streams 或KSQL 执行您的数据扩充。 Kafka Streams 是 Apache Kafka 的一部分，是一个 Java API。 KSQL 在 Kafka Streams 之上运行，并为您提供了一个 SQL 接口来声明您的流转换。您可以看到一个示例，包括连接，in this article。

   1. KSQL introduction
   2. Kafka Streams introduction

3. 或者，如果您想将生成的丰富数据存储在其他地方，请使用 Kafka Connect 将其从 Kafka 主题流式传输到目标。