【问题标题】:How to configure java home on flink job on yarn如何在纱线上的 flink 作业上配置 java home
【发布时间】:2021-01-23 02:01:38
【问题描述】:

我在flink客户端向hadoop集群提交作业,需要在flink conf中配置java home路径吗?

如果需要配置,

我应该配置客户端机器的java home还是hadoop集群的java home?

我没有配置java home的时候,提交job报错如下

LogType:jobmanager.err
Log Upload Time:Fri Jan 22 17:27:25 -0800 2021
LogLength:160
Log Contents:
Unrecognized VM option 'MaxMetaspaceSize=268435456'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

【问题讨论】:

    标签: apache-flink


    【解决方案1】:

    根据您发布的输出,您的问题不是 java_path (还!) 线

    无法识别的 VM 选项“MaxMetaspaceSize=268435456”

    您需要从配置中删除 MaxMetaspaceSize 或将其替换为:-XX:MaxMetaspaceSize

    您可以从this issue 获得帮助。

    【讨论】:

    • 谢谢!我尝试在flink运行命令中添加如下参数-yD env.java.opts="-XX:MaxMetaspaceSize=268435456" 但是还是打印出上述错误
    • @JacobCao 你需要用 MaxMetaspaceSize 替换它。
    • @JacobCao - 你能告诉我你是怎么解决这个问题的吗?我在使用 Flink 1.14.2 时遇到了同样的问题,并且也尝试过使用 Java 8/11。传递参数也没有帮助。
    • @user3497321 经测试发现必须在Flink配置文件中指定Java home的路径,且该路径必须与Hadoop集群的Java home路径一致,谢谢!跨度>
    猜你喜欢
    • 1970-01-01
    • 2019-12-20
    • 2020-09-07
    • 2018-11-24
    • 2019-12-31
    • 1970-01-01
    • 2019-02-15
    • 2017-10-25
    • 1970-01-01
    相关资源
    最近更新 更多