Kafka Streams 可以与外部系统交互吗？

【问题标题】：Can Kafka Streams interact with external systems?Kafka Streams 可以与外部系统交互吗？
【发布时间】：2022-01-16 00:16:41
【问题描述】：

我想使用 Kafka Streams，但也想与外部数据库和 API 交互。我读过建议使用 Kafka Connect 来这样做，但我想知道如何以及为什么。即使使用 Kafka Streams，是否可以查询数据库（即使它没有 Kafka Connect 连接器）和每条记录的 API？或者我应该为这个用例使用另一个处理引擎？

【问题讨论】：

如果它解决了您的问题，请随时接受以下答案

标签： apache-kafka apache-kafka-streams apache-kafka-connect

【解决方案1】：

没有什么能阻止您进行外部 API 调用。

使用 Kafka Connect 的建议如下

不要重新发明轮子； Connect API 内置容错功能
Streams API 对时间非常敏感，尤其是在加入主题时。您使用的每种方法都会增加延迟和潜在的错过事件

当然，您可以根据自己的实际需要使用其他框架，例如 Spark、Flink、Nifi 等。

编写您自己的连接器与您自己的 Streams 工作没有太大区别。只是部署模型不同。

【讨论】：