【发布时间】:2017-02-07 23:52:23
【问题描述】:
我想在 hortonworks 2.4 上使用 kafka-connect-hdfs。您能帮我完成在 HDP 环境中设置所需的步骤吗?
【问题讨论】:
标签: hdfs apache-kafka hortonworks-data-platform apache-kafka-connect
我想在 hortonworks 2.4 上使用 kafka-connect-hdfs。您能帮我完成在 HDP 环境中设置所需的步骤吗?
【问题讨论】:
标签: hdfs apache-kafka hortonworks-data-platform apache-kafka-connect
除了从源代码构建 Kafka Connect HDFS 之外,您还可以在 Hadoop 节点上下载并提取 Confluent Platform 的 TAR.GZ 文件。这并不意味着您正在“安装 Confluent”
那你可以cd /path/to/confluent-x.y.z/
然后从那里运行 Kafka Connect。
./bin/connect-standalone ./etc/kafka/connect-standalone.properties ./etc/kafka-connect-hdfs/quickstart-hdfs.properties
如果这对您有用,那么为了运行 connect-distributed(运行 Kafka Connect 的推荐方式),您需要在要运行 Kafka Connect 的其他机器上下载相同的内容。
【讨论】:
Hdfs3SinkConnector