【问题标题】:The constructor ClientArguments(String[], SparkConf) is undefined构造函数 ClientArguments(String[], SparkConf) 未定义
【发布时间】:2016-08-26 17:20:26
【问题描述】:

我正在尝试通过 Java 代码提交 spark-submit。我指的是下面的例子。

https://github.com/mahmoudparsian/data-algorithms-book/blob/master/misc/how-to-submit-spark-job-to-yarn-from-java-code.md

但我得到了

The constructor ClientArguments(String[], SparkConf) is undefined

我的 spark-yarn 版本是spark-yarn_2.11-2.0.0

看到题目了:
spark-submit through java code

但这对我不起作用。 有什么帮助吗?

【问题讨论】:

    标签: hadoop apache-spark hadoop-yarn


    【解决方案1】:

    构造函数参数在 1.x 和 2.0 之间发生了变化。在 1.x 中它看起来像:

    ClientArguments(args: Array[String], sparkConf: SparkConf)

    在 2.0 中:

    ClientArguments(args: Array[String])

    见:https://github.com/apache/spark/blob/branch-2.0/yarn/src/main/scala/org/apache/spark/deploy/yarn/ClientArguments.scala

    【讨论】:

      猜你喜欢
      • 2017-11-22
      • 1970-01-01
      • 2014-05-04
      • 1970-01-01
      • 2020-03-22
      • 1970-01-01
      • 2015-12-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多