【发布时间】:2017-05-06 17:54:36
【问题描述】:
我有一个这样的 JSON 文件:
{"ID": "1234566", "Name": "abcd", "Hobby": "run"}
如何解析该文件并获取 ID 和爱好?
【问题讨论】:
-
尝试使用 Json4s - github.com/json4s/json4s
-
不是真正的重复 - 因为另一个问题谈论使用内置类,而这是开放的使用库
我有一个这样的 JSON 文件:
{"ID": "1234566", "Name": "abcd", "Hobby": "run"}
如何解析该文件并获取 ID 和爱好?
【问题讨论】:
您可以在 Spark 中使用 sqlContext.read.json(input) 读取 json 文件。
Spark version 1.6.2: 的示例代码
import org.apache.spark._
import org.apache.spark.sql.SQLContext;
object JsonParser {
val conf = new SparkConf().setAppName("Spark json extract")
// Set this for debug mode on eclipse
conf.setMaster("local");
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
val input = "C:\\Users\\json_extract\\test1.json"
def main(args: Array[String]): Unit = {
val df = sqlContext.read.json(input)
df.registerTempTable("jsonExtract")
val data = sqlContext.sql("select * from jsonExtract")
data.show();
sc.stop
}
}
【讨论】: