如何在 Mesos 集群中运行 flink jar 文件答案

【问题标题】：How to run flink jar file in Mesos cluster如何在 Mesos 集群中运行 flink jar 文件
【发布时间】：2019-07-25 11:51:27
【问题描述】：

我有两个已安装 docker 的节点。此外，我在 docker 上安装了 Apache Mesos。首先，我在 docker 中运行这个命令，它没有显示任何结果：

 /home/flink-1.7.0/bin/mesos-appmaster.sh -Djobmanager.heap.mb=1024 -Djobmanager.rpc.port=6123 -Drest.port=8081 -Dmesos.resourcemanager.tasks.mem=1024 -Dtaskmanager.heap.mb=1024 -Dtaskmanager.numberOfTaskSlots=2 -Dparallelism.default=2 -Dmesos.resourcemanager.tasks.cpus=1

之后我运行这个命令来运行我的 jar 文件：

/home/flink-1.7.0/bin/flink run -m 172.28.10.133:5050 /home/Flink_Cassandra_test_jar/Flink_Cassandra_test.jar

之后，我收到此错误：

org.apache.flink.client.deployment.ClusterRetrieveException：无法检索独立集群

顺便说一下，我也配置了 Zookeeper。另外，我在 Flink yaml 文件中添加了这两行：

 jobmanager.rpc.address: 150.20.11.133
 high-availability: zookeeper
 high-availability.zookeeper.quorum: 150.20.11.133:2181

你能告诉我如何在 mesos 集群上运行 flink jar 文件吗？

任何帮助将不胜感激。

【问题讨论】：

标签： docker apache-flink apache-zookeeper mesos

【解决方案1】：

在flink-conf.yaml 文件中填写此参数。

mesos.master: IP-MASTER-MESOS:5050
mesos.initial-tasks: 10
mesos.resourcemanager.tasks.container.type: mesos
jobmanager.heap.mb: 1024
jobmanager.web.address: 130.239.48.136
jobmanager.web.port: 8081
mesos.resourcemanager.tasks.mem: 4096
taskmanager.heap.mb: 3500
mesos.resourcemanager.tasks.cpus: 2
mesos.resourcemanager.tasks.disk: 4096
mesos.resourcemanager.tasks.taskmanager-cmd: "/home/flink/flink-1.9.0/bin/mesos-taskmanager.sh"
mesos.resourcemanager.artifactserver.ssl.enabled: false
mesos.resourcemanager.framework.name: "FLINK_on_MESOS_intensive_cpu_usage"

然后运行您的应用程序：

/home/flink/flink-1.9.0/bin/flink run -c org.sense.flink.App /home/flink/explore-flink/target/you-application-flink.jar

Mesos 会为 Flink 配置任务管理器、槽位。

【讨论】：