Kafka 连接 API 客户端

Question

尝试将数据从 kafka 写入 hdfs。任何地方都没有记录如何使用 Confluent 的 kafka-connect-hdfs Java API。

Answer 1

您不需要使用 Java API。 KafkaConnect 可以在命令行或 REST API 中使用...即使您从 Java 触发连接器，the REST API 仍然可以工作。

一些帮助您入门的文档：

首先，KafkaConnect 快速入门，只是为了在尝试执行高级操作之前确保您的系统处于良好状态： http://docs.confluent.io/3.0.0/connect/intro.html#quickstart

如果您是 Kafka 新手，甚至可以更早地从 Kafka 快速入门开始： https://kafka.apache.org/quickstart

一旦单机更多工作，请尝试切换到分布式模式并查看the REST API

然后尝试 HDFS 连接器。要么从快速入门开始： http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart

或者博客教程： http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect

希望这对您有所帮助。

Answer 2

您可以使用 Kafka 的 Producer Java API 写入 Kafka 主题。

kafka-connect-hdfs 将从主题中获取消息并将它们放入 HDFS。这不需要 Java 代码。

您运行它已在 kafka-connect-hdfs 快速入门中显示：

$ ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \
etc/kafka-connect-hdfs/quickstart-hdfs.properties

目前，kafka-connect-hdfs 仅支持在 Kafka Schema Registry 中注册的具有 Avro 数据格式的主题。