从 Eclipse IDE 在 YARN 上提交 Spark 应用程序答案

【问题标题】：Submitting Spark application on YARN from Eclipse IDE从 Eclipse IDE 在 YARN 上提交 Spark 应用程序
【发布时间】：2017-01-25 09:04:24
【问题描述】：

当我尝试通过 Eclipse 在 Yarn 上提交 Spark 应用程序时遇到问题。我尝试提交一个简单的 SVM 程序，但我给出了以下错误。我有macbook，如果有人给我详细的答案，我将非常感激

16/09/17 10:04:19 ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalStateException: Library directory '.../MyProject/assembly/target/scala-2.11/jars' does not exist; make sure Spark is built.
    at org.apache.spark.launcher.CommandBuilderUtils.checkState(CommandBuilderUtils.java:248)
    at org.apache.spark.launcher.CommandBuilderUtils.findJarsDir(CommandBuilderUtils.java:368)
    at org.apache.spark.launcher.YarnCommandBuilderUtils$.findJarsDir(YarnCommandBuilderUtils.scala:38)
    at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:500)
    at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:834)
    at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:167)
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
    at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:149)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
    at SVM.main(SVM.java:21)

【问题讨论】：

转到运行配置 --> Eclipse 中的环境并在那里添加环境变量 SPARK_HOME。
感谢 Rakesh 的完美回答。它有效:) 但现在我看到了这个错误
16/09/17 14:44:56 警告 DFSClient：DataStreamer 异常 org.apache.hadoop.ipc.RemoteException(java.io.IOException)：文件 /user/marjanasgari/.sparkStaging/application_1474085529591_0014 /__spark_libs__3176835706727949960.zip 只能复制到 0 个节点而不是 minReplication (=1)。有 0 个数据节点正在运行，此操作中没有排除任何节点。
您的一个数据节点应该是活动的。我发布了评论作为答案。请接受。谢谢。

标签： java eclipse hadoop apache-spark

【解决方案1】：

前往

运行配置 --> 环境

在 Eclipse 中添加环境变量SPARK_HOME。

【讨论】：