spark on yarn 和 --archives 选项

Question

我正在尝试使用 spark-on-yarn 中的 --archives 选项来上传存档文件。根据question 中提到的文档和，yarn 不仅会上传 zip 文件，还会自动解压缩工作节点上的 zip 文件。

从日志中，我可以看到 yarn 正在将 jar 上传到 spark 的暂存目录中，例如

17/09/19 01:28:57 INFO Client: Uploading resource file:/home/foo/bar/zoo.zip -> hdfs://abc.foo.bar:8020/user/xyz/.sparkStaging/application_1503584958553_4501/zoo.zip

我面临的问题是，虽然 zip 文件被复制到 spark staging 目录中，但它并没有自动取消归档，我猜它也没有被复制到工作节点中。

假设 yarn 确实解压缩了 zip 文件，有没有办法以编程方式访问工作节点的位置？

我正在针对具有纱线 2.7 的 emr 5.8 运行 spark 2.2。

Answer 1

要将 zip 解压缩到所需目录，您需要提供以下值

--archives src.zip#src

这意味着 src.zip 将被上传到所有执行器并解压缩到“src”目录中。另一个更清楚的例子 -

--archives src.zip#abc

如果您像上面一样更改目录名称（# 后的字符串），现在 src.zip 将被解压缩到“abc”目录中。