【问题标题】:kafka connect mongo on kafka MSKkafka 在 kafka MSK 上连接 mongo
【发布时间】:2020-05-09 21:16:12
【问题描述】:

我在 AWS 中使用 Kafka MSK。因此,我们没有本地 kafka 与所有必需的连接器连接,例如在 confluent 上。 实际上,我使用 kakfa mongo 连接器,我想找到一种方法将 kafka mongo 连接器 jar 推送到 kafka MSK 集群的实例上。 jar 将被推送到的路径是 plugins.path 定义在使用的连接器的属性中。

请问有什么办法吗?

【问题讨论】:

  • Kafka Connect 应该部署在代理的外部,在任何环境中

标签: apache-kafka apache-kafka-connect amazon-msk


【解决方案1】:

MSK 不会为您提供托管的 Kafka Connect 工作器。您需要自己配置和运行它,例如在 EC2 上。然后这项工作将连接到您的 Kafka 集群(在本例中为 MSK)

需要明确:MSK 只是托管的 Kafka 代理(和 Zookeeper)。它不包括运行连接器所需的 Kafka Connect。

【讨论】:

  • 我什至不确定你是否可以通过 SSH 连接到 MSK
  • 但我的理解是连接工作者应该在 MSK 集群的实例上运行,所以 jar 不应该是 EC2 没有?
  • 您的理解不正确(除非您有可以分享的参考资料?)。您不能在 MSK 本身上运行 Kafka Connect,您需要自己配置和运行它
猜你喜欢
  • 2020-10-28
  • 2020-05-01
  • 2020-05-17
  • 2020-05-08
  • 1970-01-01
  • 1970-01-01
  • 2022-11-24
  • 2022-08-24
  • 2021-10-07
相关资源
最近更新 更多