【发布时间】:2016-07-08 02:18:44
【问题描述】:
我需要用 spark 读取特定的 parquet 文件,我知道可以这样做:
sqlContext
.read
.parquet("s3://bucket/key", "s3://bucket/key")
现在我有一个 List[String] 对象,其中包含所有这些 s3 路径,但我不知道如何以编程方式将其传递给 Scala 中的 parquet 函数?有很多文件可以手动完成,有什么想法如何以编程方式将文件放入 parquet 函数中?
【问题讨论】:
-
您正在寻找 splat 运算符:
.parquet(listOfStrings:_*) -
真的,非常感谢!
标签: scala apache-spark parquet