Apache Spark 读取 Json 流仅返回 Null

Question

您好，我是 spark & scala 的新手。我已经开始编写应用程序，它将读取 json 文件并在控制台中打印 strema。但它总是将值打印为 Null。

这是我尝试过的程序。

val spark: SparkSession = SparkSession.builder()
      .master("local[3]")
      .appName("Demo")
      .getOrCreate()

    val userSchema = new StructType()
      .add("name", "string")
      .add("age", "integer")


    val df = spark.readStream
      .schema(userSchema)
      .json("/home/sajith/Desktop/temp_data/demo/cpy/")

    df.printSchema()

    df.writeStream
      .format("console")
      .start()
      .awaitTermination()

这是示例 Json 文件

{
 "name":"Sajith", 
 "age": 55
}

当我将 json 文件放入目录时，它给出了这个结果。

Answer 1

原因是 json 数据需要单行。

{"name":"Sajith","age":55}