使用 Spark 2.4 识别空 JSON 文件答案

【问题标题】：Identify empty JSON files with Spark 2.4使用 Spark 2.4 识别空 JSON 文件
【发布时间】：2019-11-05 22:39:48
【问题描述】：

我想避免处理空的 JSON 文件。我得到的一些空 JSON 文件仅包含左方括号和右方括号，例如：[]。只包含应该被理解为空文件的文件。

使用 Spark 2.2，以下行将返回 true：

spark.read.json(pathToFile).isEmpty

但是在 Spark 2.4 中它返回 false。

在使用 Spark 2.4 时如何将这种类型的文件识别为空文件？

【问题讨论】：

【解决方案1】：

查看列

val stuff = spark.read.json("hdfs:///user/me/empty.json")

scala> stuff.columns
res6: Array[String] = Array()

【讨论】：