从 HDFS 根文件夹读取数据并将其附加到 Spark DF答案

【问题标题】：read data from HDFS root folder and append it to the Spark DF从 HDFS 根文件夹读取数据并将其附加到 Spark DF
【发布时间】：2018-07-04 06:49:18
【问题描述】：

我正在从 Spark Scala 的 HDFS 文件夹中读取 JSON 文件

代码：

val path = "hdfs://year/month/date/*"
var df = spark.read.format("json").load(path)

所以它会读取日期文件夹中的所有部分--JSON 文件。

但我想读取 year 文件夹中的所有 JSON 文件并将其附加到 DF。请有任何建议。

【问题讨论】：

【解决方案1】：

val path = "hdfs://year/*/*/*"
var df = spark.read.format("json").load(path)

这行得通。

【讨论】：