scala文件中的RDD处理

【问题标题】：RDD processing in scala filescala文件中的RDD处理
【发布时间】：2018-06-06 03:08:34
【问题描述】：

我已经加载了 2 个 csv 文件，将 RDD 转换为 DF，并且我已经编写了一些 JOIN 条件来对它们执行。我已经为这些使用了火花壳。现在我想将所有这些命令放在/捆绑在一个 .scala 文件中并运行 spark-submit 作业。目前我没有为此使用任何 IDE，而是想从终端运行。我需要为此提供主要方法吗？如果是，请建议我该如何进行？

非常感谢您的时间和投入。

【问题讨论】：

标签： scala apache-spark apache-spark-sql rdd

【解决方案1】：

在 spark shell 中运行 Scala 脚本不需要 main 方法。

1.将你所有的步骤写在一个文件中并保存为file.scala

2.像 spark-shell -i C:\spark\file.scala 一样运行 spark shell

下面是我在file.scala中写的示例代码

val rdd=sc.textFile("C:\\Users\\manoj kumar dhakad\\Desktop\\scores.txt")
rdd.collect.foreach(println)

以下是我提交的方式。

spark-shell -i C:\spark\file.scala

样本输出

rdd: org.apache.spark.rdd.RDD[String] = C:\Users\manoj kumar dhakad\Desktop\scores.txt MapPartitionsRDD[1] at textFile at <console>:24
75,89,150,135,200,76,12,100,150,28,178,189,167,200,175,150,87,99,129,149,176,200,87,35,157,189

【讨论】：

我尝试过上课，但我无法上课。我想你可以用罐子给。