运行 yarn jar 命令时更改 tmp 目录答案

【问题标题】：Change tmp directory while running yarn jar command运行 yarn jar 命令时更改 tmp 目录
【发布时间】：2018-07-26 16:43:02
【问题描述】：

我正在使用 yarn jar 命令运行 MR 作业，它会在 /tmp 文件夹中创建一个临时 jar，它会填满整个磁盘空间。我想将此 jar 的路径重定向到我有更多磁盘空间的其他文件夹。在这个link 上，我知道我们可以通过为hadoop 1.x 版本设置属性mapred.local.dir 来更改路径。我正在使用以下命令来运行 jar

yarn jar myjar.jar MyClass myyml.yml arg1 -D mapred.local.dir="/grid/1/uie/facts"

上面的参数 mapred.local.dir 没有改变路径，它仍然在 tmp 文件夹中创建 jar。

【问题讨论】：

您运行的是哪个版本的 Hadoop？

标签： hadoop mapreduce hadoop-yarn

【解决方案1】：

找到了不将 unjar 文件写入 /tmp 文件夹的技巧。显然，这不是可配置的行为，因此我们可以通过使用生成的类路径调用来避免使用“hadoop jar”或“yarn jar”（RunJar 实用程序）：

java -cp $(hadoop 类路径):my-fat-jar-with-all-dependencies.jar 你的.app.mainClass

1. Reference link

【讨论】：