如何将kafka匹配数据发送到其他主题答案

【问题标题】：How to send kafka matching data to other topic如何将kafka匹配数据发送到其他主题
【发布时间】：2017-05-21 04:54:08
【问题描述】：

如何在另一个主题 3 中推送主题 1 和主题 2 之间的匹配数据？当从生产者向消费者发送消息时？

【问题讨论】：

【解决方案1】：

我没有使用过 Spark，但我可以从 Apache Storm 角度为您提供一些指导 Apache Storm

用 2 个 kafka spout 构建拓扑，每个从 topic1 和 topic2
在螺栓中使用此数据并比较数据。您可以使用单个螺栓或一系列连续螺栓。您可能需要使用一些持久性，即。 mongodb 或诸如 redis 或 memcache 之类的东西，取决于您的比较逻辑
将公共数据推送到新的 kafka 主题 Send data to kafka from Storm using kafka bolt

这是非常Apache Storm具体的解决方案，可能不是最理想或合适或高效的一种，但旨在给出一般性想法

这里是stormStorm Concepts中基本概念的链接

【讨论】：

【解决方案2】：

我已经与 Spark 合作了六个多月了，是的，这绝对是可能的。老实说，相当简单。但是对于这个问题来说，点燃火花有点夸张。卡夫卡流呢？我从来没有和他们合作过，但这不应该完全解决这个问题吗？

如果你想使用火花：使用 Spark Kafka 集成（我使用 spark-streaming-kafka-0-10）来消费和生成数据，应该非常简单。而不是在文档中查找 Spark 流式处理 Api。

关于 2 个 DStream 的简单连接应该可以解决问题。如果您想存储不匹配的数据，您可以将其打开或使用 UpdateStateByKey 函数。我希望它可以帮助某人。祝你好运:)

【讨论】：