Spark WordCount 命令行编译出错答案

【问题标题】：Errors in command line compilation of Spark WordCountSpark WordCount 命令行编译出错
【发布时间】：2018-12-25 19:50:12
【问题描述】：

我正在尝试在没有任何 Maven 和 sbt 支持的情况下使用命令行为 Scala 编译和运行 WordCOunt 程序。我用来编译 scala 程序的命令是

scalac -classpath /spark-2.3.0-bin-hadoop2.7/jars/ Wordcount.scala

import org.apache.spark._
import org.apache.spark.SparkConf

/** Create a RDD of lines from a text file, and keep count of
 *  how often each word appears.
 */
object wordcount {

  def main(args: Array[String]) {
      // Set up a SparkContext named WordCount that runs locally using
      // all available cores.
      val conf = new SparkConf().setAppName("WordCount")
      conf.setMaster("local[*]")
      val sc = new SparkContext(conf)

我的研究： 我参考了源码，发现import语句在他们需要的罐子。
例如 SparkConf 存在于包 org.apache.spark 中程序中提到了。

https://github.com/apache/spark/blob/v2.3.1/core/src/main/scala/org/apache/spark/SparkConf.scala

我面临的错误：

Wordcount.scala:3: error: **object apache is not a member of package org import org.apache.spark._ ^**

Wordcount.scala:4: error: **object apache is not a member of package org import org.apache.spark.SparkConf** ^

Wordcount.scala:14: error: not found: **type SparkConf val conf = new SparkConf().setAppName("WordCount")** ^

Wordcount.scala:16: error: not found: **type SparkContext val sc = new SparkContext(conf)** ^

发现四个错误

【问题讨论】：

路径正确。我已经多次使用 ls -la 验证了这一点
@RameshMaharjan 这是我的源代码gist.github.com/uutkarshsingh/b6c7694cf09507c3df1ec066093d6687 您是否可以验证您是否遇到相同的错误。在您身边使用适当的类路径。
我正在关注一个视频教程，它使用 scala IDE 编译代码。并使用 IDE 本身执行。你想说IDE创建并运行一个jar而不是只编译和运行？ spark-submit 可能是其中一种方法..

标签： scala apache-spark word-count

【解决方案1】：

试试这个：

scalac -classpath "/spark-2.3.0-bin-hadoop2.7/jars/*" Wordcount.scala

您的问题中提到的 scalac 命令存在问题。如果要从某个目录中选择所有 jar 并将其放入类路径中，则需要使用 * 通配符字符并将路径包含在双引号内。

详情请参考：Including all the jars in a directory within the Java classpath

【讨论】：

如果你能完整地回答它，它会更好地帮助别人。 @Sukumaar
@LearneriOS，如果它对你有用，那么请接受这个答案:-)