【问题标题】:Spark read files recursively from all sub folders with same nameSpark 从同名的所有子文件夹中递归读取文件
【发布时间】:2017-01-04 21:18:40
【问题描述】:

我有一个进程每小时将一堆数据推送到 Blob 存储,并在我的存储容器中创建以下文件夹结构,如下所示: /year=16/Month=03/Day=17/Hour=16/mydata.csv /year=16/Month=03/Day=17/Hour=17/mydata.csv

等等

在我的 Spark 上下文中形成我想访问所有 mydata.csv 并处理它们。我发现我需要设置 sc.hadoopConfiguration.set("mapreduce.input.fileinputformat.input.dir.recursive","true") 以便我们可以使用如下递归搜索:

val csvFile2 = sc.textFile("wasb://mycontainer@mystorage.blob.core.windows.net/*/*/*/mydata.csv")

但是当我执行以下命令查看我收到了多少文件时,它给了我一些非常大的数字,如下所示

csvFile2.count res41: Long = 106715282 理想情况下,它应该返回 24*16=384,我也在容器上进行了验证,它只有 384 个mydata.csv 文件,但由于某些原因,我看到它返回 106715282。

谁能帮我理解我哪里出错了?

问候 基兰

【问题讨论】:

  • csvFile2.count 不返回文件计数,它返回 record 计数,这就是为什么你会看到一个大数字...
  • @TzachZohar:这是否意味着它从所有这些文件中完全读取的行数。这里的记录是什么意思?
  • @TzachZohar:好的,谢谢。有什么方法可以找到读取的文件总数?
  • SparkContext.wholeTextFiles 会将每个文件加载到单个记录中,然后计数 would 是文件的数量,但您不想这样做 - 它会创建大量记录可能会使您的工作崩溃...我能想到的唯一选择是在使用 Spark 加载数据之前使用 HDFS API(不是 Spark)执行单独的查找。

标签: scala apache-spark azure-hdinsight


【解决方案1】:

SparkContext 有两个类似的方法:textFile 和 wholeTextFiles。

textFile 将每个文件的每一行 加载为RDD 中的记录。所以count() 将返回所有文件的总行数(在大多数情况下,比如您的文件,这将是一个很大的数字)。

wholeTextFiles 将每个整个文件加载为 RDD 中的记录。所以count() 将返回文件总数(在您的情况下为 384)。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-11-05
    相关资源
    最近更新 更多