【发布时间】:2017-01-04 21:18:40
【问题描述】:
我有一个进程每小时将一堆数据推送到 Blob 存储,并在我的存储容器中创建以下文件夹结构,如下所示:
/year=16/Month=03/Day=17/Hour=16/mydata.csv
/year=16/Month=03/Day=17/Hour=17/mydata.csv
等等
在我的 Spark 上下文中形成我想访问所有 mydata.csv 并处理它们。我发现我需要设置 sc.hadoopConfiguration.set("mapreduce.input.fileinputformat.input.dir.recursive","true") 以便我们可以使用如下递归搜索:
val csvFile2 = sc.textFile("wasb://mycontainer@mystorage.blob.core.windows.net/*/*/*/mydata.csv")
但是当我执行以下命令查看我收到了多少文件时,它给了我一些非常大的数字,如下所示
csvFile2.count
res41: Long = 106715282
理想情况下,它应该返回 24*16=384,我也在容器上进行了验证,它只有 384 个mydata.csv 文件,但由于某些原因,我看到它返回 106715282。
谁能帮我理解我哪里出错了?
问候 基兰
【问题讨论】:
-
csvFile2.count不返回文件计数,它返回 record 计数,这就是为什么你会看到一个大数字... -
@TzachZohar:这是否意味着它从所有这些文件中完全读取的行数。这里的记录是什么意思?
-
@TzachZohar:好的,谢谢。有什么方法可以找到读取的文件总数?
-
SparkContext.wholeTextFiles会将每个文件加载到单个记录中,然后计数 would 是文件的数量,但您不想这样做 - 它会创建大量记录可能会使您的工作崩溃...我能想到的唯一选择是在使用 Spark 加载数据之前使用 HDFS API(不是 Spark)执行单独的查找。
标签: scala apache-spark azure-hdinsight