【问题标题】:OutOfMemoryError: Java heap space on Tensorflow tests executionOutOfMemoryError:Tensorflow 测试执行时的 Java 堆空间
【发布时间】:2017-03-21 12:17:12
【问题描述】:

使用命令执行 TensorFlow 测试套件:

bazel test //tensorflow/...

抛出内存不足问题:

INFO: Found 1886 targets and 1155 test targets...
INFO: Elapsed time: 291.775s, Critical Path: 0.91s
java.lang.OutOfMemoryError: Java heap space
        at com.google.devtools.build.skyframe.SkyKey.create(SkyKey.java:57)
        at com.google.devtools.build.lib.skyframe.ArtifactSkyKey.key(ArtifactSkyKey.java:43)
        at com.google.devtools.build.lib.skyframe.ActionExecutionFunction.toKeys(ActionExecutionFunction.java:576)
        at com.google.devtools.build.lib.skyframe.ActionExecutionFunction.compute(ActionExecutionFunction.java:158)
        at com.google.devtools.build.skyframe.ParallelEvaluator$Evaluate.run(ParallelEvaluator.java:370)
        at com.google.devtools.build.lib.concurrent.AbstractQueueVisitor$WrappedRunnable.run(AbstractQueueVisitor.java:501)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
Java heap space

bazel ran out of memory and crashed.

我已尝试以下选项,但问题仍然存在。

导出_JAVA_OPTIONS="-Xms1024m -Xmx1024m"

导出 JVM_ARGS="-Xmx1024m -XX:MaxPermSize=256m"

导出 JVM_ARGS="-XX:PermSize=64M -XX:MaxPermSize=256m"

另外,从 bazel 代码更改文件:scripts/bootstrap/compile.sh

" run "${JAVAC}" -J-Xms1g -J-Xmx1g -classpath "${classpath}" -sourcepath "${sourcepath}""

机器配置:Ubuntu 发行版,openjdk8,RAM 16G

【问题讨论】:

    标签: java tensorflow bazel


    【解决方案1】:

    尝试将JAVA_OPTIONS 设置为正确的名称且不带引号字符:

    JAVA_OPTIONS= -Xms512m -Xmx1024m
    

    如果它不起作用,则可能没有使用 JAVA_OPTIONS 环境变量。
    您可以尝试直接在执行命令中指定参数。 According to the official documentation,你可以这样做:

    bazel test --host_jvm_args=-Xms512m --host_jvm_args=-Xmx1024m //tensorflow/...
    

    【讨论】:

    • 谢谢!下面的命令对我有用:bazel --host_jvm_args="-Xms512m" --host_jvm_args="-Xmx1024m" test //tensorflow/...
    猜你喜欢
    • 2019-11-28
    • 1970-01-01
    • 2016-06-15
    • 2016-02-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-09-09
    相关资源
    最近更新 更多