读取路径并在路径中加载数据，并在数据框中捕获路径详细信息

Question

我正在读取多个路径并使用以下命令在这些路径中加载镶木地板文件：

val paths = List("/mnt/datamount/tmp/fldr=2345","/mnt/datamount/tmp/fldr=1234","/mnt/datamount/tmp/fldr=5678")

下面是读取命令：

val readdf = spark.read.format("parquet").load(paths: _*)

这会读取路径中的所有 parquet 文件，结构如下：

col1: String
col2: Int
col3: Long

有什么方法可以捕获路径信息并将值添加到数据框中？结构如下所示

col1: String
col2: Int
col3: Long
fldr: Int

使用 spark 的分区发现，它可以通过放置基本路径来捕获它，但是有 40000 个分区并且需要时间来读取。使用上述方法，我可以在几秒钟内读取文件，但无法捕获数据帧中的文件夹信息，这些信息需要下游与其他数据帧连接！

Answer 1

您可以单独读取每条路径，以便手动添加额外的列，然后合并所有这些数据框。

import org.apache.spark.sql.functions.lit

def extractFldrFromPath(path: String): String = ???
def readPath(path: String): DataFrame = {
  val fldr = extractFldrFromPath(path)
  val df = spark.read.format("parquet").load(path)
  df.withColumn("fldr", lit(fldr))
}

paths.map(readPath).reduce(_ union _)