【问题标题】:How can I parse JSON file in Scala? [duplicate]如何在 Scala 中解析 JSON 文件? [复制]
【发布时间】:2017-05-06 17:54:36
【问题描述】:

我有一个这样的 JSON 文件:

{"ID": "1234566", "Name": "abcd", "Hobby": "run"}

如何解析该文件并获取 ID 和爱好?

【问题讨论】:

  • 尝试使用 Json4s - github.com/json4s/json4s
  • 不是真正的重复 - 因为另一个问题谈论使用内置类,而这是开放的使用库

标签: json scala


【解决方案1】:

您可以在 Spark 中使用 sqlContext.read.json(input) 读取 json 文件。

Spark version 1.6.2: 的示例代码

import org.apache.spark._
import org.apache.spark.sql.SQLContext;  

object JsonParser {
    val conf = new SparkConf().setAppName("Spark json extract")

             // Set this for debug mode on eclipse 
              conf.setMaster("local");

    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    val input = "C:\\Users\\json_extract\\test1.json"

    def main(args: Array[String]): Unit = {
      val df = sqlContext.read.json(input)
      df.registerTempTable("jsonExtract")

      val data = sqlContext.sql("select * from jsonExtract")
      data.show();
    sc.stop

  }
}

【讨论】:

  • 使用 Spark 作为 Json 解析器有点重量级。
  • @Harald 在大数据集的情况下呢??
猜你喜欢
  • 2019-05-20
  • 2014-03-20
  • 2018-12-09
  • 1970-01-01
  • 2013-06-27
  • 2020-03-19
  • 2019-10-02
相关资源
最近更新 更多