从本地 Docker For Mac 中部署的服务访问本地 Kafka（包括 Kubernetes 扩展）

Question

• 我在 OSX 本地工作。
  • 我在本地模式下使用 Kafka 和 zookeeper。意思是我的 Kafka 安装中的 zookeeper。一个节点集群。
  • 两者都在环回本地主机上工作

zookeeper.connect=localhost:2181

• 我的/etc/host 如下：

127.0.0.1         localhost MaatPro.local  
255.255.255.255   broadcasthost  
::1               localhost MaatPro.local  
fe80::1%lo0       localhost MaatPro.local

• 我的机器上设置了 docker for Mac，带有 Kubernetes 扩展。

我的场景

• 我有一个 dockerized 的 Akka-stream 微服务，它从外部数据库读取数据并将其写入 Kafka 主题。它用作引导服务器：

"localhost:9092"

问题

• 当我直接在我的机器上运行我的服务（例如命令行或从 Intellij 中）时，一切正常。当我在本地 Docker 或 Kubernetes 上运行它时，我收到以下错误：

(o.a.k.clients.NetworkClient) [Producer clientId=producer-1] Connection to node 0 could not be established. The broker may not be available.

使用 Kubernetes，我构建了以下 YAML 文件来部署我的 pod：

apiVersion: v1
kind: Pod
metadata:
  name: fetcher
spec:
  hostNetwork: true
  containers:
   - image: entellectextractorsfetchers:0.1.0-SNAPSHOT
     name: fetcher

我采取预防措施设置 hostNetwork: true

直接使用 Docker 守护程序我最初也尝试将网络设置为主机，但发现这不适用于 docker for mac。因此，我放弃了那条路线。我知道这与虚拟化有关。

1) docker 出现的虚拟化问题和我本地的 kubernetes 一样吗？基本上，主机网络是虚拟机而不是我的mac？

2) 我尝试更改我的代码并将以下地址添加为引导服务器：host.docker.internal 根据文档。但问题仍然存在。根本问题是我正在处理环回地址吗？我真的应该在我的网络地址上工作吗？ host.docker.internal 指向哪个地址？我怎样才能使它与环回地址一起工作？如果我完全关闭，知道我需要实施什么才能使其正常工作吗？

非常感谢您对此提供的任何帮助。

Answer 1

基于@cricket_007 指导Kafka Listeners - Explained 和我在这个问题上到处阅读的许多内容，包括官方 docker 文档I Want to connect from a container to a servicer on the host

我想出了以下解决方案。

我将以下内容添加到我的默认本地 kafka 配置（即 server.properties）

listeners=EXTERNAL://0.0.0.0:19092,INTERNAL://0.0.0.0:9092
listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
advertised.listeners=INTERNAL://127.0.0.1:9092,EXTERNAL://docker.for.mac.localhost:19092
inter.broker.listener.name=INTERNAL

实际上这里是外部，预计是 docker 网络。此配置仅适用于我的 OSX 机器，用于我的本地开发目的。我不希望连接到我的笔记本电脑的人使用我的本地 kafka，因此我可以使用 EXTERNAL://docker.for.mac.localhost:19092. 这是在 docker/kube 中向我的容器宣传的内容。在该网络中，可以访问 docker.for.mac.localhost。

请注意，这可能不适用于 Minikube。这是特定于 Docker For Mac 的。我在我的机器上运行的 kubernetes 是 docker for mac 自带的，而不是 minikube。

最后在我的代码中我在一个列表中同时使用了这两个

"localhost:9092, docker.for.mac.localhost:19092"

我使用 typeSafe 配置，因此在 prod 中，这会被 env 变量擦除。如果未指定 env 变量，则使用此变量。当我从 Intellij 运行我的微服务时，使用了 localhost:9092。那是因为在这种情况下，我和我机器中的 kafka/zookeeper 处于同一个网络中。但是，当我从 docker/kube 运行相同的微服务时，使用了 docker.for.mac.localhost:19092。

回答我的附带问题

1. 是的。 Docker for Mac 使用 HyperKit 作为轻量级虚拟机，在其上运行 linux，并在其上运行 Docker Engine。 Docker for MAC Kubernetes 扩展基本上是关于在 docker 守护进程中将 kubernetes 集群服务/基础设施作为容器运行。 Docker for Mac vs. Docker Toolbox 。换句话说，宿主是 hyperkit 而不是 osx。但正如上面的文档所解释的，Docker for Mac 的实现就是让用户觉得 OSX 和 Docker 之间没有虚拟化。

2. • 使用环回地址连接到主机是一个尚未解决的问题。我什至不确定它是否能完美运行，即使主机是 Linux。不确定，可能已经解决了。尽管如此，它需要通过声明容器或在 kube 的情况下的 pod 在主机网络上来运行图像。但是在 docker for mac 中，根据我的在线阅读，该功能将永远无法工作。因此，使用 docker.for.mac.localhost 或 host.docker.internal 的解决方案，Docker for Mac 确实设置为引用 mac 主机而不是 hyperkit主持人。

   • host.docker.internal 和 docker.for.mac.localhost 是其中之一，此时较晚的推荐是 host.docker。内部的。话虽这么说，这个地址最初对我不起作用，因为我的 Kafka 设置不好。值得准备@criket_007 链接以了解http://rmoff.net/2018/08/02/kafka-listeners-explained。

Answer 2

按照@MaatDeamon 方法，我只做了以下操作，它对我有用。

advertised.listeners=PLAINTEXT://:9092

在您的应用程序配置属性中

localhost:9092,host.docker.internal:9092