【问题标题】：Submiting Flink Job on YARN Issue提交有关 YARN 问题的 Flink 作业
【发布时间】：2020-12-27 20:41:51
【问题描述】：
我想使用以下命令在 YARN 上提交我的 flink 作业：
./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar
但我遇到了这个错误：
is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
【问题讨论】：
标签：
apache-flink
hadoop-yarn
【解决方案1】：
这是因为一个名为 yarn.nodemanager.vmem-pmem-ratio 的变量默认设置为 2.1，在此命令中此比率为 4096/1024 = 4
你有 3 种方式：
1 - 如果您有权访问 YARN 配置，您可以将 yarn.nodemanager.vmem-check-enabled 设置为 yarn-site.xml 为假。
2 - 如果您有权访问配置，另一个方法是将比率值从 2.1 更改为 5，例如
3 - 如果您没有访问权限，您可以更改 YARN 配置，您可以更改 ytm 和 yjm 值以满足比率条件，例如：-yjm 4096 -ytm 4096.