如何仅读取目录中的前 5 个文件夹：Spark答案

【问题标题】：How to read just first 5 folders inside a directory : Spark如何仅读取目录中的前 5 个文件夹：Spark
【发布时间】：2016-07-06 15:43:35
【问题描述】：

我有一个目录下的文件夹列表（例如：2016/06/03/00/File.json.gz"））。目前我正在阅读所有文件：

val df = sqlContext.jsonFile("s3://testData/2016/06/*/*/*") 
df.show()

但我只想读取 06 内的前 5 个文件夹（所有文件夹都像 01...30 - 天，每个文件夹都有小时文件夹 -00..23，其中包含 josnfiles）

我可以这样做吗：

val df = sqlContext.jsonFile("s3://testData/2016/06/0*/*/*")

我只想阅读 01, 02, 03, 04 ,05 个文件夹（5 天），其余的保留

有没有更好的方法来做到这一点？

【问题讨论】：

【解决方案1】：

试试这个：

val df = sqlContext.jsonFile("s3://testData/2016/06/0[1-5]/*/*")

【讨论】：