【问题标题】:add connector plugin kafka by ambariambari 添加连接器插件 kafka
【发布时间】:2020-10-01 23:09:52
【问题描述】:

我是 apache 环境中的新手,它有一些让我非常好奇的东西。我的卡夫卡是通过 ambari 安装的。所以一切都可以通过 ambari 的 GUI 启动。当通过 ambari 安装 kafka 时,它包括 kafka-connect。但是,如果我不包括我需要的连接器怎么办。 以下是其中包含的一些连接器。

/etc/kafka-connect-activemq
/etc/kafka-connect-elasticsearch
/etc/kafka-connect-ibmmq
/etc/kafka-connect-jdbc
/etc/kafka-connect-jms
/etc/kafka-connect-replicator
/etc/kafka-connect-s3
/etc/kafka-connect-storage-common
/etc/kafka-connect-activemq/ActiveMQSourceConnector.properties
/etc/kafka-connect-activemq/connect-avro-localhost.properties
/etc/kafka-connect-elasticsearch/quickstart-elasticsearch.properties
/etc/kafka-connect-ibmmq/IbmMQSourceConnector.properties
/etc/kafka-connect-ibmmq/connect-avro-localhost.properties
/etc/kafka-connect-jdbc/sink-quickstart-sqlite.properties
/etc/kafka-connect-jdbc/source-quickstart-sqlite.properties
/etc/kafka-connect-jms/ActiveMQSourceConnector.properties
/etc/kafka-connect-jms/JMSSourceConnector.properties
/etc/kafka-connect-jms/connect-avro-localhost.properties
/etc/kafka-connect-replicator/quickstart-replicator-unicluster.properties
/etc/kafka-connect-replicator/quickstart-replicator.properties
/etc/kafka-connect-replicator/replicator-connect-distributed.properties
/etc/kafka-connect-replicator/replicator-connect-standalone.properties
/etc/kafka-connect-replicator/replicator-log4j.properties
/etc/kafka-connect-replicator/replicator.properties
/etc/kafka-connect-s3/quickstart-s3.properties
/etc/kafka-connect-s3/quickstart-schema-source-for-s3.properties

但我需要的是 hdfs3-sink。我如何在没有融合的情况下实现它?

任何建议都将不胜感激。谢谢

【问题讨论】:

  • 您要使用哪个 HDFS 3 接收器?
  • 嗨!非常感谢您的回复,我是您的忠实粉丝,我观看了您的一些视频。好吧,实际上我对 kafka 了解不多,但因为我需要将我的主题发送到 hdfs3,所以我认为我需要 hdfs3 接收器连接器:kafka-connect-hdfs3。有多少 HDFS 3 沉没在那里?非常感谢您的回复,非常感谢

标签: apache-kafka hdfs apache-kafka-connect ambari confluent-platform


【解决方案1】:

据我所知,Kafka Connect 的唯一 HDFS 3 连接器是来自 Confluent 的:https://www.confluent.io/hub/confluentinc/kafka-connect-hdfs3/

要安装它,您可以直接下载JAR,或使用confluent-hub CLI 工具安装它。

【讨论】:

  • 您好,非常感谢您的回复,您能详细解释一下吗?我曾经通过融合集线器安装它。 ambari 中一切运行良好。但是当我做confluent local status 时,一切都失败了。你能为我解释更多吗?谢谢。
  • 您好,我已尝试安装它。我发生了另一个问题。你介意看看这个。 stackoverflow.com/questions/62526864/… 。提前谢谢你
猜你喜欢
  • 2018-08-27
  • 2021-12-06
  • 2021-02-24
  • 1970-01-01
  • 2020-04-27
  • 2020-06-23
  • 2018-12-07
  • 1970-01-01
  • 2018-11-04
相关资源
最近更新 更多