为什么Kafka connect轻量级？

【问题标题】：Why is Kafka connect light weight?为什么Kafka connect轻量级？
【发布时间】：2018-12-27 22:23:51
【问题描述】：

我一直在使用 kafka connect、Spark streaming、Nifi 和 kafka 来处理流数据。

我知道，与其他技术不同，kafka connect 不是一个单独的应用程序，它是一个 kafka 的工具。

在分布式模式下，所有技术都通过底层任务或线程实现并行性。是什么让 kafka connect 在处理 kafka 时变得高效，为什么叫轻量级？

【问题讨论】：

【解决方案1】：

它高效且轻量级，因为它使用内置的 Kafka 协议，并且不需要 YARN 等外部系统。虽然在 Mesos/Kubernetes/Docker 中部署 Connect 可以说更好/更容易，但它不是必需的

连接 API 也由核心 Kafka 开发人员维护，而不是那些只想简单集成到另一个工具中的人。例如，上次我检查时，NiFi 无法访问 Kafka 消息时间戳。与使用 Confluent 认证连接器相比，在其他工具中处理 Avro Schema Registry 似乎是事后考虑

【讨论】：