如何通过 web ui 提交 Job 到 flink on yarn

Question

我在yarn上搭建了一个flink集群，通过主机上相关的type命令提交作业成功。

但不如 web ui 方便（我已经测试过在 fink 独立集群上通过 web ui 提交作业）。

当我点击“提交新工作”按钮时，页面如下：

我点击“这里”超链接，它跳转到一个在集群中具有随机主机 IP 和“随机”端口的页面。因为我们没有打开所有的公共网络端口，所以这个页面被拒绝连接。

我尝试调试js代码，看看是不是某些配置触发了这个问题，发现了两个代码片段：

看来这个页面在使用 flink on yarn 时不能很好地运行。

那么，我可以通过 web ui 提交作业到 flink on yarn 吗？如何？

Answer 1

正如消息所述，您看到的 YARN 代理不允许文件上传。如果你真的想在 yarn 上通过 web-ui 上传作业，你可以找出 jobmanager 的真实 ip 并直接访问该 ip（无需 yarn 代理）。

虽然这种方法存在一些问题。您必须有权访问该节点，这在 yarn 上通常不是这种情况。 （最有可能你正在击中）。

Answer 2

Flink on yarn 有两种模式：session 和 per-job。如果需要通过web-ui提交，必须先创建一个yarn-session，进入session web-ui提交，但是per-job不应该通过web-ui提交