Kafka 在没有 Confluent 的情况下下沉到数据湖存储答案

【问题标题】：Kafka Sink to Data Lake Storage without ConfluentKafka 在没有 Confluent 的情况下下沉到数据湖存储
【发布时间】：2021-06-10 00:51:27
【问题描述】：

我正在尝试找到将 Open Source Kafka 直接写入 Azure Data Lake Storage Gen2 的选项。似乎我没有什么选择，主要是在 Confluent 周围盘旋，如下所示：

使用 Confluent Cloud 和 Apache Kafka - 需要订阅 Confluent 并支付费用 (Confluent Cloud with ADLS
将 Azure VM 与 Confluent Hub 一起使用并安装 Confluent 平台

目前我不想支付 Confluent 许可，也不想用 confluent 包进行测试（越来越多的包装器和箍）

是否可以直接使用开源 Kafka 将数据写入 ADLS Gen2？如果是，我们如何才能实现这一点，任何有用的信息可以分享？

【问题讨论】：

标签： apache-kafka azure-data-lake-gen2

【解决方案1】：

首先，Kafka Connect 是 Apache2 授权产品，是一个由插件组成的开放平台； Confluent Platform/Cloud 不是使用它的必要条件。 You can download the Azure connector as a ZIP file 并安装它like any other

但是，Confluent（或任何开发人员）可以自行决定是否提供付费的license agreement for their software and any support, and there might otherwise be a limited trial period where you can use the plugin for some time。

话虽如此，您并不“需要”Confluent Platform，如果您这样做了，使用它也没有任何“麻烦”，因为它只是向 Apache Kafka+Zookeeper 添加了附加功能，它不是它自己的东西（您可以将现有的 Kafka 安装与其他 Confluent 产品一起使用）

关于其他开源的东西。 StackOverflow 不是软件推荐或寻求工具/库的地方。不过，您可以使用 Spark/Flink/Nifi，我肯定会重新实现与 Kafka Connect 类似的管道，或者您可以基于用作 S3 基础的开源 kafka-connect-storage-cloud 项目编写自己的 Kafka 连接器、GCS 和 Azure、AFAIK。

【讨论】：

这说明了很好。谢谢你，但看起来 zip 也是从混淆所在的 confluence 提供的，所以我认为它只是开放给任何没有许可的人使用。此外，我正在寻找这个连接器的用法以及如何从原始 Kafka 集群设置的角度。有什么指点吗？
1) Confluence 是 Atlassian 产品，与 Kafka 无关 2) ZIP 包含编译后的代码。在运行时，代码确实执行许可证检查，尽管您有一个评估期来使用它，根据链接的 Confluent 许可证 3) 作为回答，将代码放在您提到的 plugin.path 文件夹中Kafka Connect 属性文件，然后启动服务器，该插件就可以使用了
当然。我会试试看。因此，根据我的理解，没有任何可用的许可（通过融合或类似融合）来获得 Kafka 开源未经许可的直接连接器来连接 ADLS 对象存储？如果这是唯一的选择，您是否还有此 zip 包的使用详细信息和要使用的相应文档？
再次强调，Confluence 是一个 wiki 软件，与 Kafka 无关。而且您已经得到了关于 Apache Camel 的另一个答案，您还需要在 plugin.path 中进行设置

【解决方案2】：

有 Apache Camel 连接器，它有一个用于发送和接收数据的 Azure Datalake 连接器。（汇和源）检查一下：https://camel.apache.org/camel-kafka-connector/latest/connectors/camel-azure-storage-datalake-kafka-sink-connector.html 这是一个免费的解决方案，不需要使用 Confluent 许可证或技术。

【讨论】：

仅供参考——您不需要许可证即可使用 Camel Kafka 连接器直接连接。