【发布时间】：2017-10-03 06:03:16
【问题描述】：
我需要知道 Spark 执行器的当前工作目录 URI/URL，以便我可以在作业执行之前复制一些依赖项。我如何进入 Java ？我应该调用什么api？
【问题讨论】：
-
Spark 执行器不是长寿命的进程，你无法控制它们在集群中的运行位置
-
@cricket_007 如果 YARN 知道在哪里放置 spark-submit 的存档，那么它也可以在代码中完成，也可以在主 jar 中完成
-
对，这就是
SparkFiles的用途，正如已回答的那样。但是您对“代码中”的定义可能意味着驱动程序进程，而不是执行程序
标签： hadoop apache-spark