如何获取从 Spark 中的 S3 路径读取的文件数

Question

所以，我在 Spark 中使用最通用的 S3 读取代码，它将我指定目录中的多个文件读取到单个数据帧中：

val df=spark.read.option("sep", "\t")
  .option("inferSchema", "true")
  .option("encoding","UTF-8")
  .schema(sch)
  .csv("s3://my-bucket/my-directory/")

获取从该路径读取的文件数的最佳方法是什么（如果有）？

Answer 1

您可以尝试计算不同的input_file_name()：

val nbFiles = df.select(input_file_name()).distinct.count

或使用 Hadoop 文件系统：

import org.apache.hadoop.fs.Path

val s3Path = new Path("s3://my-bucket/my-directory/")
val contentSummary = s3Path.getFileSystem(sc.hadoopConfiguration).getContentSummary(s3Path)

val nbFiles = contentSummary.getFileCount()