如何使用 flink 在 2 个 kafka 主题之间进行数据比较答案

【问题标题】：How to perform data comparison between 2 kafka topic using flink如何使用 flink 在 2 个 kafka 主题之间进行数据比较
【发布时间】：2020-02-05 15:30:29
【问题描述】：

我陷入了需要使用来自 2 个或更多 kafka 主题的数据流（在应用过滤器之后）并比较数据的情况。由于数据量很大，请建议可用的最佳选项.. flink 可以吗？

【问题讨论】：

你需要做什么样的比较？
是的，这应该可以通过 Flink 实现。但要提出解决方案，我们需要更多地了解所涉及的比较类型。
@DavidAnderson 我想对来自 2 个 kafka 主题的数据进行字段/属性级别比较或减法运算。

标签： java apache-kafka comparison apache-flink

【解决方案1】：

使用 Flink 可以使用几种不同的方法来解决这个问题。更直接的选项可能是使用

an interval join
或某种Table 或SQL 加入。

将 Kafka 与 Table/SQL APi 结合使用已涵盖here。

【讨论】：

此处建议的连接选项是否可以进行减法运算？
不确定您所说的减号是什么意思，但 Table/SQL API 支持数值减法，但集合除外。而且您始终可以使用用户定义的函数扩展内置操作。使用间隔连接，您可以做任何您想做的事情。

【解决方案2】：

为什么不试试火花流？ Spark 有连接器可以从 kafka 主题中读取并将它们视为一个表（又名数据框），您可以在数据框之上运行 sql 查询并比较结果

【讨论】：