【问题标题】:Reading JSON files into Spark Dataset and adding columns from a separate Map将 JSON 文件读入 Spark 数据集并从单独的 Map 添加列
【发布时间】:2018-01-08 17:52:44
【问题描述】:

这里是 Spark 2.1 和 Scala 2.11。我有一个大的Map[String,Date],其中有 10K 键/值对。我还有 10K JSON 文件存在于 Spark 可访问的文件系统上:

mnt/
    some/
        path/
            data00001.json
            data00002.json
            data00003.json
            ...
            data10000.json

地图中的每个 KV 对对应于其各自的 JSON 文件(因此第一个地图 KV 对对应于 data00001.json 等)

我想将所有这些 JSON 文件读入 1 个大型 Spark Dataset,并且在我这样做的同时,将两个新列添加到此数据集(JSON 文件中不存在)。每个映射键将是第一个新列的值,每个键的值将是第二个新列的值:

val objectSummaries = getScalaList()
val dataFiles = objectSummaries.filter { _.getKey.endsWith("data.json") }
val dataDirectories = dataFiles.map(dataFile => {
  val keyComponents = dataFile.getKey.split("/")
  val parent = if (keyComponents.length > 1) keyComponents(keyComponents.length - 2) else "/"
  (parent, dataFile.getLastModified)
})

// TODO: How to take each KV pair from dataDirectories above and store them as the values for the
// two new columns?
val allDataDataset = spark.read.json("mnt/some/path/*.json")
  .withColumn("new_col_1", dataDirectories._1)
  .withColumn("new_col_2", dataDirectories._2)

我已确认,当我删除 withColumn 方法并执行 allData.show() 时,Spark 将支持通配符 (mnt/some/path/*.json) 并将所有 JSON 文件读入单个数据集。所以我很好。

我正在努力解决的是:如何添加两个新列,然后正确提取所有键/值映射元素?

【问题讨论】:

    标签: json scala apache-spark apache-spark-sql apache-spark-dataset


    【解决方案1】:

    如果我理解正确,您希望将地图中的 KV 与 json 文件中的数据帧关联起来。

    我将尝试将问题简化为只有 3 个文件和 3 个键值全部排序。

    val kvs = Map("a" -> 1, "b" -> 2, "c" -> 3)
    val files = List("data0001.json", "data0002.json", "data0003.json")
    

    定义一个案例类来处理更简单的文件、键、值

    case class FileWithKV(fileName: String, key: String, value: Int)
    

    将压缩文件和kvs

    val filesWithKVs = files.zip(kvs)
      .map(p => FileWithKV(p._1, p._2._1, p._2._2))
    

    它看起来像这样

    filesWithKVs: List[FileWithKV] = List(FileWithKV(data0001.json,a,1), FileWithKV(data0002.json,b,2), FileWithKV(data0003.json,c,3))
    

    然后我们从一个初始数据帧开始,从我们的集合的头部开始,然后开始向左折叠以构建将包含所有文件的整个数据帧,所有列都从 KV 动态生成

    val head = filesWithKVs.head
    val initialDf = spark
    .read.json(head.filename)
    .withColumn(s"new_col_1", lit(head.key)) 
    .withColumn(s"new_col_2", lit(head.value))
    

    现在是折叠部分

    val dfAll = filesWithKVs.tail.foldLeft(initialDf)((df, fileWithKV) => {
        val newDf = spark
        .read.json(fileWithKV.filename)
        .withColumn(s"new_col_1", lit(fileWithKV.key)) 
        .withColumn(s"new_col_2", lit(fileWithKV.value))
        // union the dataframes to capture file by file, key value with key value
        df.union(newDf)
    })
    

    假设 json 文件中的 3 个 json 文件中的每一个都有一个名为 bar 的列和一个值 foo,数据框将如下所示

    +---+----------+----------+
    |bar|new_col_1 |new_col_2 |
    +---+----------+----------+
    |foo|         a|         1|
    |foo|         b|         2|
    |foo|         c|         3|
    +---+----------+----------+
    

    【讨论】:

    • 我会在使用Dataframe.union 时添加我通常的评论:不要这样做超过几千次。如果文件数量很大,则执行图将变得不切实际。当前的 hacky 替代方法是在底层 RDD 上使用 SparkContext.union(RDD*)。这会使 DAG 变平。
    【解决方案2】:

    我认为您应该为此创建自己的数据源。这个新的数据源会知道您的特定文件夹结构和内容结构。

    【讨论】:

      猜你喜欢
      • 2017-08-28
      • 2017-09-05
      • 1970-01-01
      • 2022-01-13
      • 2020-06-16
      • 2021-05-23
      • 2021-10-29
      • 2021-04-17
      • 1970-01-01
      相关资源
      最近更新 更多