【发布时间】:2020-10-01 23:09:52
【问题描述】:
我是 apache 环境中的新手,它有一些让我非常好奇的东西。我的卡夫卡是通过 ambari 安装的。所以一切都可以通过 ambari 的 GUI 启动。当通过 ambari 安装 kafka 时,它包括 kafka-connect。但是,如果我不包括我需要的连接器怎么办。 以下是其中包含的一些连接器。
/etc/kafka-connect-activemq
/etc/kafka-connect-elasticsearch
/etc/kafka-connect-ibmmq
/etc/kafka-connect-jdbc
/etc/kafka-connect-jms
/etc/kafka-connect-replicator
/etc/kafka-connect-s3
/etc/kafka-connect-storage-common
/etc/kafka-connect-activemq/ActiveMQSourceConnector.properties
/etc/kafka-connect-activemq/connect-avro-localhost.properties
/etc/kafka-connect-elasticsearch/quickstart-elasticsearch.properties
/etc/kafka-connect-ibmmq/IbmMQSourceConnector.properties
/etc/kafka-connect-ibmmq/connect-avro-localhost.properties
/etc/kafka-connect-jdbc/sink-quickstart-sqlite.properties
/etc/kafka-connect-jdbc/source-quickstart-sqlite.properties
/etc/kafka-connect-jms/ActiveMQSourceConnector.properties
/etc/kafka-connect-jms/JMSSourceConnector.properties
/etc/kafka-connect-jms/connect-avro-localhost.properties
/etc/kafka-connect-replicator/quickstart-replicator-unicluster.properties
/etc/kafka-connect-replicator/quickstart-replicator.properties
/etc/kafka-connect-replicator/replicator-connect-distributed.properties
/etc/kafka-connect-replicator/replicator-connect-standalone.properties
/etc/kafka-connect-replicator/replicator-log4j.properties
/etc/kafka-connect-replicator/replicator.properties
/etc/kafka-connect-s3/quickstart-s3.properties
/etc/kafka-connect-s3/quickstart-schema-source-for-s3.properties
但我需要的是 hdfs3-sink。我如何在没有融合的情况下实现它?
任何建议都将不胜感激。谢谢
【问题讨论】:
-
您要使用哪个 HDFS 3 接收器?
-
嗨!非常感谢您的回复,我是您的忠实粉丝,我观看了您的一些视频。好吧,实际上我对 kafka 了解不多,但因为我需要将我的主题发送到 hdfs3,所以我认为我需要 hdfs3 接收器连接器:kafka-connect-hdfs3。有多少 HDFS 3 沉没在那里?非常感谢您的回复,非常感谢
标签: apache-kafka hdfs apache-kafka-connect ambari confluent-platform