使用 yarn-cluster 模式初始化 SparkContext 时出错答案

【问题标题】：Error initializing SparkContext using yarn-cluster mode使用 yarn-cluster 模式初始化 SparkContext 时出错
【发布时间】：2017-01-28 02:54:41
【问题描述】：

我正在运行一个简单的代码来在 hdfs 上创建一个文件并将内容写入其中并关闭该文件。我能够在本地模式以及纱线客户端模式下运行此代码。但是当我使用 yarn-cluster 模式运行相同的代码时，我得到了作为Error initializing SparkContext。

我用过的Scala代码如下：

object Main {
def main(args: Array[String]): Unit = {
val conf= new SparkConf()

var sparkContext =new SparkContext("yarn-cluster","testHdfsWrite",conf)
val uri = URI.create (hdfslocation); // hdfs location of my home directory
val confi = new Configuration();
val file = FileSystem.get(uri, confi);
val os = file.create(new Path(uri))
os.write("Hello World".getBytes("UTF-8"))
os.close()
 }
}

当我使用 local 模式和 yarn-client 模式时，此代码成功创建了一个文件并向其写入内容“Hello World”。但是当我使用 yarn-cluster 模式时，我得到了以下异常。

 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Detected yarn-cluster mode, but isn't running on a cluster. Deployment to YARN is not supported directly by SparkContext. Please use spark-submit.
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:411)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:147)
        at Main$.main(Main.scala:17)
        at Main.main(Main.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
INFO SparkContext: Successfully stopped SparkContext

我已经看过this 和大部分相关链接。但这与我所期望的不同。如果您有正确的链接，请分享，或者如果您知道如何解决此问题，请告诉我。

谢谢

【问题讨论】：

向我们展示您是如何提交申请的？是通过IDE还是你提交runnable？

标签： scala hadoop apache-spark hadoop-yarn

【解决方案1】：

我也遇到了这个问题，并尝试使用以下方法解决它：试试这个，在程序的 main() 方法中创建“spark 上下文”（与 sql 上下文相同）：

def main(args: Array[String]): Unit = {

  val conf = new SparkConf().setAppName("Simple Application")

  val sc = new SparkContext(conf)

  val sqlContext = new SQLContext(sc)

} 并在下面导入：

导入 org.apache.spark.SparkConf

导入 org.apache.spark.SparkContext

在集群模式下使用以下命令运行您的代码，并且不要在您的代码中设置“yarn-cluster”，在使用以下集群提交作业时提供它：

spark-submit --master yarn-cluster --packages --class com.Test.ExampleTest --jars

【讨论】：

亲爱的khushbu kanojia，有没有办法在不提交spark-submit的情况下做到这一点？直接从代码

【解决方案2】：

错误消息指出您必须使用 spark-submit 来启动应用程序。您是否使用 spark-submit 启动它？

【讨论】：

【解决方案3】：

尝试代替

val conf= new SparkConf()

var sparkContext =new SparkContext("yarn-cluster","testHdfsWrite",conf)

使用

val conf= new SparkConf()
      .setAppName("testHdfsWrite")
      .setMaster("yarn-cluster")

var sparkContext = new SparkContext(conf)

【讨论】：

【解决方案4】：

如果你想提交应用程序（尤其是集群模式），你应该向 spark-submit 脚本提供模式信息。因此只需使用以下参数来启动您的应用程序：

spark-submit --master yarn --deploy-mode cluster test_2.10-1.0.jar

【讨论】：