【问题标题】:Beam pipeline deploy to Flink fails with 404Beam 管道部署到 Flink 失败并显示 404
【发布时间】:2018-09-14 09:27:33
【问题描述】:

我正在尝试在 Flink 1.5.2 docker image 上运行一个简单的 Apache Beam 管道。当我运行主类来部署管道时,我收到了一个奇怪的 404 错误。该管道在 Google Cloud Dataflow 上运行良好。

我使用参数 --runner=FlinkRunner, --flinkMaster=localhost:8081 运行 main,我可以在 http://localhost:8081 上看到 Flink 仪表板。部署失败:

Unrecognised token 'failure': was expecting ('true', 'false' or 'null)

根据调试输出,它似乎一直在尝试访问 localhost:8081/blobserver/port - 我可以确认当我向它发出 get 请求时此路径返回 404。

当我尝试从 Web UI 将作业部署为胖 jar 时,我遇到了类似的问题。 JarPlanHandler 中的 RestException。

我已经尝试过 1.6.0 和 1.5.x 版本 - 特别是我正在使用 https://github.com/apache/flink/blob/master/flink-contrib/docker-flink/docker-compose.yml,如下所示:

FLINK_DOCKER_IMAGE_NAME=flink:1.5.0 docker-compose up

我做错了什么?

【问题讨论】:

  • 同样的问题 :) 如果你能找到新的东西,请告诉我。
  • 很高兴知道这不仅仅是我 - 我开始质疑我的理智!

标签: apache-flink apache-beam


【解决方案1】:

请将您的 Flink 降级到 1.5.0,一切正常。在 REST API 你会发现blobserver/port

【讨论】:

  • 我应该提到,我已经尝试过 1.5.x 版本以及 1.6.0 - 所以这就是你的问题,旧版本没有失败?我正在使用 github.com/apache/flink/blob/master/flink-contrib/docker-flink/… 和 FLINK_DOCKER_IMAGE_NAME=flink:1.5.0 docker-compose up
  • 我们首先在 Flink 1.5.3 进行了尝试,但我们发现了同样的问题:在 Flink REST API 中缺少blobserver/port。现在我可以确认,Flink 1.5.0 + Beam 2.6.0 一切正常,我们使用的是官方 Docker 镜像flink:1.5.0-hadoop27-scala_2.11
  • 你完全正确。我一定没有专门尝试过 1.5.0。这是一个重大的突破性变化,似乎没有任何明显的记录!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-06-14
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多