在 spark-shell 中预加载脚本和解析 `args`

Question

我有一个测试脚本来读取作为参数提供的文本文件，如下所示：

test.scala：

$ cat test.scala
import scala.io.Source

val filename = args(0)
for (line <- Source.fromFile(filename).getLines) {
    println(line)
}

我想阅读下面的文本文件：

$ cat test.txt
test1
test2
test3

我需要在命令行中运行 scala，如下所示：

spark-shell -i test.scala test.txt

我希望 test.txt 被识别为 args(0)，但我看到的输出如下：

:26: 错误：未找到：值 args val 文件名 = args(0)

谁能告诉我这样做的正确用法是什么？非常感谢。

更新：

cat test.scala
import scala.io.Source

val args = spark.sqlContext.getConf("spark.driver.args").split(",")
val filename = args(0)

for (line <- Source.fromFile(filename).getLines) {
    println(line)
}

测试结果： spark-shell -i test.scala --conf spark.driver.args="test.txt"

 SQL context available as sqlContext. Loading test.scala... import
 scala.io.Source <console>:26: error: not found: value spark
          val args = spark.sqlContext.getConf("spark.driver.args").split(",")

Answer 1

您可以将自定义的 --conf 参数值传递给 spark。以下是传递参数的方式：

import scala.io.Source

val args = spark.sqlContext.getConf("spark.driver.args").split(",")
val arg1 = args(0)
val arg2 = arg(1)
print(arg1)

在--conf 中，我必须传递spark.driver.args 参数的值。所以运行脚本的最终命令是：

spark-shell -i test.scala --conf spark.driver.args="param1value,param2value,param3value"

Answer 2

这对我有用

import scala.io.Source

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val args = sqlContext.getConf("spark.driver.args").split(",")

println(args)

args