【发布时间】：2016-05-31 22:31:18
【问题描述】：
我在 yarn-client 模式和 yarn-cluster 模式下运行类似代码时遇到了一点问题。我的代码在客户端模式下运行时完美执行，但在 yarn-cluster 节点上运行时失败。
它抛出一个文件而不是文件异常，指出找不到 pyspark.zip 文件。对此的任何见解都会有所帮助。
【问题讨论】：
标签： apache-spark
【发布时间】：2016-05-31 22:31:18
【问题描述】：
在 yarn-cluster 模式下，驱动程序在 Application Master 中运行（在 YARN 容器内）。在yarn-client模式下，它在客户端运行。
在yarn-cluster模式下，不支持spark-shell。
回到您的问题：您使用的是哪个版本的 Spark？在 1.4 以下的版本中，在 yarn 中运行 pyspark 目前仅限于 yarn-client 模式（见SPARK-5162）
【讨论】：
-
我使用的是 spark 1.4.1 ，所以集群模式应该不是问题。我正在使用客户端计算机上的 spark-submit 来运行作业，但如上所述，它在客户端模式下运行良好，但在主模式下抛出异常。