如何使用 Spark Scala 从 JSON 文件为字段子集创建模式？

Question

我正在尝试创建嵌套 JSON 文件的架构，以便它可以成为数据框。

但是，如果我只需要其中的“id”和“文本”——一个子集，我不确定是否有办法在不定义 JSON 文件中的所有字段的情况下创建架构。

我目前在 spark shell 中使用 scala。从文件中可以看出，我是从 HDFS 下载的 part-00000。

.

Answer 1

来自 JSON 手册：

使用.schema 方法应用架构。此读取仅返回 架构中指定的列。

所以你可以按照你的暗示去做。

例如

import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType};
val schema = new StructType()
      .add("op_ts", StringType, true)

val df = spark.read.schema(schema)
              .option("multiLine", true).option("mode", "PERMISSIVE")
              .json("/FileStore/tables/json_stuff.txt")
df.printSchema()
df.show(false)

返回：

root
 |-- op_ts: string (nullable = true)

+--------------------------+
|op_ts                     |
+--------------------------+
|2019-05-31 04:24:34.000327|
+--------------------------+

对于这个架构：

root
 |-- after: struct (nullable = true)
 |    |-- CODE: string (nullable = true)
 |    |-- CREATED: string (nullable = true)
 |    |-- ID: long (nullable = true)
 |    |-- STATUS: string (nullable = true)
 |    |-- UPDATE_TIME: string (nullable = true)
 |-- before: string (nullable = true)
 |-- current_ts: string (nullable = true)
 |-- op_ts: string (nullable = true)
 |-- op_type: string (nullable = true)
 |-- pos: string (nullable = true)
 |-- primary_keys: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- table: string (nullable = true)
 |-- tokens: struct (nullable = true)
 |    |-- csn: string (nullable = true)
 |    |-- txid: string (nullable = true)

从同一个文件中获取：

val df = spark.read
              .option("multiLine", true).option("mode", "PERMISSIVE")
              .json("/FileStore/tables/json_stuff.txt")
df.printSchema()
df.show(false)

后者只是为了证明。