如何将 NATS 流服务器与 Apache flink 一起使用？答案

【问题标题】：How to use NATS Streaming Server with Apache flink?如何将 NATS 流服务器与 Apache flink 一起使用？
【发布时间】：2020-04-01 17:47:34
【问题描述】：

我想使用 NATs 流服务器来流式传输数据并使用 Flink 来处理数据。

如何使用 apache flink 通过 NATS 流服务器处理实时流数据？

【问题讨论】：

这是超级相关的。我正在寻找 Kafka 的替代品，如果不是因为缺乏对 Flink 等工具的支持，NATS Streaming 将是一个很好的竞争者。我可以找到 Spark Streaming 的连接器和 Flink 的 this，但它已经很老了。你看过悉地吗？
@monkeyman 您是否研究过 Apache Pulsar，它是 Kafka 的替代品？它提供了一个 Flink 连接器。

标签： apache-flink flink-streaming nats.io nats-streaming-server

【解决方案1】：

您需要找到或开发 Flink/NATS 连接器，或者将数据镜像到其他已经支持 Flink 的流存储服务。在the connectors that are part of Flink 或Apache Bahir 或Flink community packages 的集合中没有NATS 连接器。但是如果你四处搜索，你会在github等上找到一些相关的项目。

在评估连接器实现时，除了通常的考虑因素外，还应考虑以下因素：

它是否同时提供消费者和生产者接口？
它会做检查点吗？
它提供哪些处理保证？（至少一次，恰好一次）
错误处理有多好？
性能：例如，是否以某种方式批量写入？
它如何处理序列化？
它会公开任何指标吗？

如果您决定编写自己的连接器，您可以将类似系统的现有连接器用作参考，例如 Nifi、Pulsar 等。您应该知道，数据源使用的接口目前正在重构在FLIP-27的保护伞下。

【讨论】：