【发布时间】:2018-01-08 17:52:44
【问题描述】:
这里是 Spark 2.1 和 Scala 2.11。我有一个大的Map[String,Date],其中有 10K 键/值对。我还有 10K JSON 文件存在于 Spark 可访问的文件系统上:
mnt/
some/
path/
data00001.json
data00002.json
data00003.json
...
data10000.json
地图中的每个 KV 对对应于其各自的 JSON 文件(因此第一个地图 KV 对对应于 data00001.json 等)
我想将所有这些 JSON 文件读入 1 个大型 Spark Dataset,并且在我这样做的同时,将两个新列添加到此数据集(JSON 文件中不存在)。每个映射键将是第一个新列的值,每个键的值将是第二个新列的值:
val objectSummaries = getScalaList()
val dataFiles = objectSummaries.filter { _.getKey.endsWith("data.json") }
val dataDirectories = dataFiles.map(dataFile => {
val keyComponents = dataFile.getKey.split("/")
val parent = if (keyComponents.length > 1) keyComponents(keyComponents.length - 2) else "/"
(parent, dataFile.getLastModified)
})
// TODO: How to take each KV pair from dataDirectories above and store them as the values for the
// two new columns?
val allDataDataset = spark.read.json("mnt/some/path/*.json")
.withColumn("new_col_1", dataDirectories._1)
.withColumn("new_col_2", dataDirectories._2)
我已确认,当我删除 withColumn 方法并执行 allData.show() 时,Spark 将支持通配符 (mnt/some/path/*.json) 并将所有 JSON 文件读入单个数据集。所以我很好。
我正在努力解决的是:如何添加两个新列,然后正确提取所有键/值映射元素?
【问题讨论】:
标签: json scala apache-spark apache-spark-sql apache-spark-dataset