【问题标题】:How to convert Spark dataframe output to json?如何将 Spark 数据帧输出转换为 json?
【发布时间】:2023-03-31 09:59:01
【问题描述】:

我正在使用带有 Spark SQL 上下文的 CSV 文件读取文件。

代码:

m.put("path", CSV_DIRECTORY+file.getOriginalFilename());
m.put("inferSchema", "true"); // Automatically infer data types else string by default
m.put("header", "true");      // Use first line of all files as header         
m.put("delimiter", ";");

DataFrame df = sqlContext.load("com.databricks.spark.csv",m);              
df.printSchema();

使用df.printSchema()获取列名和数据类型

O/P:

|--id : integer (nullable = true)
|-- ApplicationNo: string (nullable = true)
|-- Applidate: timestamp(nullable = true)

语句 printSchema 的返回类型是什么。如何将输出转换为 JSON 格式,如何将数据框转换为 JSON??

所需的 O/P:

{"column":"id","datatype":"integer"}

【问题讨论】:

    标签: java json scala apache-spark apache-spark-sql


    【解决方案1】:

    DataType 有一个 json() 方法和一个 fromJson() 方法,可用于序列化/反序列化模式。

    val df = sqlContext.read().....load()
    val jsonString:String = df.schema.json()
    val schema:StructType = DataType.fromJson(jsonString).asInstanceOf[StructType]
    

    【讨论】:

      【解决方案2】:

      Spark SQL 方式,

      df.createOrReplaceTempView("<table_name>")
      spark.sql("SELECT COLLECT_SET(STRUCT(<field_name>)) AS `` FROM <table_name> LIMIT 1").coalesce(1).write.format("org.apache.spark.sql.json").mode("overwrite").save(<Blob Path1/ ADLS Path1>)
      

      输出会像,

      {"":[{<field_name>:<field_value1>},{<field_name>:<field_value2>}]}
      

      这里的标题可以通过以下 3 行来避免(假设数据中没有 Tilda),

      val jsonToCsvDF=spark.read.format("com.databricks.spark.csv").option("delimiter", "~").load(<Blob Path1/ ADLS Path1>)
      
      jsonToCsvDF.createOrReplaceTempView("json_to_csv")
      
      spark.sql("SELECT SUBSTR(`_c0`,5,length(`_c0`)-5) FROM json_to_csv").coalesce(1).write.option("header",false).mode("overwrite").text(<Blob Path2/ ADLS Path2>)
      

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2017-05-14
        • 1970-01-01
        • 2019-07-31
        • 2021-06-28
        • 1970-01-01
        • 2020-07-31
        • 2020-09-06
        相关资源
        最近更新 更多