在 YARN 模式下在 cloudera 5 上运行 spark 应用程序答案

【问题标题】：running spark app on cloudera 5 in YARN mode在 YARN 模式下在 cloudera 5 上运行 spark 应用程序
【发布时间】：2014-08-23 18:18:13
【问题描述】：

几周以来，我一直在尝试向我的 cloudera 集群提交 spark-submit。我真的希望有人知道这是如何工作的。

我创建了一个脚本，它使用所有必需的参数调用 spark-submit。屏幕转出以下几行

Using properties file: null
Using properties file: null
Parsed arguments:
  master                  yarn
  deployMode              cluster
  executorMemory          null
  executorCores           null
  totalExecutorCores      null
  propertiesFile          null
  driverMemory            null
  driverCores             null
  driverExtraClassPath    /home/bruce/workspace1/spark-cloudera/yarn/stable/target/spark-yarn_2.10-1.0.0-cdh5.1.0.jar:/home/bruce/.m2/repository/org/apache/hadoop/hadoop-yarn-client/2.3.0-cdh5.1.0/hadoop-yarn-client-2.3.0-cdh5.1.0.jar:/home/bruce/.m2/repository/org/apache/hadoop/hadoop-common/2.3.0-cdh5.1.0/hadoop-common-2.3.0-cdh5.1.0.jar:/home/bruce/.m2/repository/org/apache/hadoop/hadoop-yarn-api/2.3.0-cdh5.1.0/hadoop-yarn-api-2.3.0-cdh5.1.0.jar:/home/bruce/.m2/repository/org/apache/hadoop/hadoop-yarn-common/2.3.0-cdh5.1.0/hadoop-yarn-common-2.3.0-cdh5.1.0.jar:/home/bruce/.m2/repository/org/apache/hadoop/hadoop-auth/2.3.0-cdh5.1.0/hadoop-auth-2.3.0-cdh5.1.0.jar:/home/bruce/.m2/repository/com/google/protobuf/protobuf-java/2.5.0/protobuf-java-2.5.0.jar
  driverExtraLibraryPath  null
  driverExtraJavaOptions  null
  supervise               false
  queue                   null
  numExecutors            null
  files                   null
  pyFiles                 null
  archives                null
  mainClass               org.apache.spark.examples.SparkPi
  primaryResource         file:/home/bruce/workspace1/spark-cloudera/examples/target/scala-2.10/spark-examples-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar
  name                    org.apache.spark.examples.SparkPi
  childArgs               [10]
  jars                    null
  verbose                 true


log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

通话卡住很长时间，然后退出连接被拒绝。

我不明白的是参数指定使用 YarnClient，但它没有表明它知道如何联系纱线资源管理器，而不是 ip，而不是端口。提交是在我的笔记本电脑上进行的，集群位于相邻的子网上。 spark-submit 是如何确定如何联系 yarn 服务的？

【问题讨论】：

标签： cloudera apache-spark hadoop-yarn

【解决方案1】：

来自Spark Documentation

确保 HADOOP_CONF_DIR 或 YARN_CONF_DIR 指向目录其中包含 Hadoop 的（客户端）配置文件簇。这些配置用于写入 dfs 并连接到 YARN 资源管理器。

【讨论】：