在 kubernetes 上运行 flink 作业答案

【问题标题】：Running flink job on kubernetes在 kubernetes 上运行 flink 作业
【发布时间】：2018-06-24 16:52:15
【问题描述】：

我正在使用最新版本的 flink 1.5 在 kubernetes 上尝试 flink 作业。

Flink on Kubernetes 文档定义了如何部署 flink，我在 mac 中使用了 minikube。 flink ui 很好地显示了作业管理器和任务管理器。

我的问题是如何在上述 flink 集群上运行示例应用程序。 The flink example project 提供了如何使用 flink 应用程序构建 docker 映像并将该应用程序提交给 flink 的信息。我按照示例进行了操作，只是将 flink 的版本更改为最新版本。我发现应用程序（example-app）已成功提交并显示在 kubernetes 的 pod 中，但 flink UI 未显示任何正在运行的作业。有人可以给我举个例子，说明如何将 flink 作业提交到在 kubernetes 上运行的 flink 集群。

【问题讨论】：

当您运行kubectl get pods --show-all 时，您看到工作了吗？它的状态如何？
是的，它显示在那里只有正在运行的作业在 flink ui 中不可见。

标签： kubernetes apache-flink

【解决方案1】：

Minikube 的 VM 存在问题，即 pod 无法引用指向自身的服务。这里是对应的issue。

您必须登录 Minikube VM 才能设置正确的ip link。以下命令应该可以解决问题

minikube ssh 'sudo ip link set docker0 promisc on'

之所以需要这个，是因为在集群入口点上运行的网络提交处理程序需要连接到集群入口点来提交作业。

【讨论】：

我尝试了上述方法，应用程序似乎在 pod 中运行，但 UI 中没有显示任何内容。应用程序日志也没有太多信息。 kubectl get pods --all-namespaces default example-app-s62rb 1/1 Running 0 9m default flink-jobmanager-79c5f48c5b-k75nr 1/1 Running 0 2d default flink-taskmanager-7679c9d55d-rfnjj 1/1 Running 0 2d default flink-taskmanager-7679c9d55d-vwqnm 1/1 ...kubectl logs example-app-s62rb Starting execution of program
你能和我们分享一下日志文件吗？