选择 JSON Spark-Json 数据集中不存在的字段

Question

我正在使用 Java-Spark，我的 JSON 看起来像这样：

{
      "name": "myname",
       "age":"35"
}

或者：

{
    "name": "myname",
    "age":"35",
    "country":"US"
}

我读给Dataset的内容如下：

Dataset<Row> df = sparkSession.read().json(jsonSet);
Dataset<Row> dfSelect = df.select(cols);//Where cols is Column[]

数组cols 包含列name、age 和country，但有时JSON 不包含country 字段并且df.select(cols) 会引发异常。

即使 JSON 文件中不存在该字段，如何选择所有字段？

Answer 1

正如 philantrovert 在评论中所建议的，您可以在读取 json 文件时使用预定义的架构。如果 json 文件中不存在该列，则所有值都将是 null。它可以在Java中完成如下：

List<StructField> fields = new ArrayList<>();
fields.add(DataTypes.createStructField("name", DataTypes.StringType, true));
fields.add(DataTypes.createStructField("age", DataTypes.StringType, true));
fields.add(DataTypes.createStructField("country", DataTypes.StringType, true));
StructType schema = DataTypes.createStructType(fields);

Dataset<Row> df = sparkSession.read().schema(schema).json(jsonSet);

可以在架构中根据需要更改列数据类型。由于df 已包含所需的列，因此无需在之后对列执行select。