【问题标题】:How to connect from spring boot kafka project to aws MSK如何从 spring boot kafka 项目连接到 aws MSK
【发布时间】:2020-06-18 17:14:20
【问题描述】:

我正在尝试从 spring boot kafka 应用程序连接到 aws msk 集群。

我有 aws msk arn ,引导服务器配置可用。

如何集成到应用程序中? 任何例子

我可以从本地运行它吗,我的意思是从本地应用程序实例连接到 AWS MSK

msk cluster

【问题讨论】:

  • 您有什么问题?你的代码是什么样的?
  • 我无法在此处发布代码
  • 您好,您找到解决方案了吗?我也面临同样的问题。

标签: java apache-kafka spring-kafka aws-msk


【解决方案1】:

连接到 AWS MSK 就像连接到任何 Kafka 集群。

这取决于您是如何设置 MSK 的? (VPC - 子网) 检查您是否可以从本地访问或需要使用 VPN。

还可以查看您的代理端点是如何配置和公开的 - 例如:

  • 明文(代理:9092)
  • TLS(代理:9094)

如果是纯文本,就跟设置 bootstrap.servers 一样简单。

否则,您需要添加下面提到的属性才能访问您的 MSK 集群。

security.protocol: SSL
ssl.truststore.location: jks
ssl.truststore.password: pwd

如果您仍有疑问,请告诉我。

【讨论】:

  • 我们没有开启客户端 ssl 身份验证。那么我们需要密码和位置吗?更新图像
  • 不,那么你不需要这两个属性,security.protocol 将是 PLAINTEXT。
  • 最后我们不得不把 ssl. asper docs.confluent.io/2.0.0/kafka/… 以及 //props.put("ssl.endpoint.identification.algorithm", "");但是不需要信任存储!因为部署在 ec2 和 msk 上的应用程序可能都在同一个 vpn 中?或者这是 aws 自动生成的东西
【解决方案2】:

如果您可以通过kafka-console-* 命令(或更简单的kafkacat)进行连接,那么您应该可以通过任何其他应用程序进行连接。

我建议您在运行其他任何东西之前使用这些工具进行调试。

【讨论】:

    猜你喜欢
    • 2021-12-23
    • 1970-01-01
    • 2020-05-01
    • 2022-11-24
    • 2020-06-17
    • 2022-01-17
    • 2018-11-12
    • 2020-05-09
    • 1970-01-01
    相关资源
    最近更新 更多