在 SPARK 上将 JSON 对象转换为 DataFrame答案

【问题标题】：transform JSON object into DataFrame on SPARK在 SPARK 上将 JSON 对象转换为 DataFrame
【发布时间】：2016-04-24 08:14:14
【问题描述】：

我在 IBM Bluemix 上的 Apache Spark 上使用 Python 笔记本获取 JSON 格式的推文流。我想将 JSON 对象转换为数据框。我发现的最接近的是：

json_obj = {"tweet": "hey man", "name": "Alan"} #mock example

tweetsDF = sqlContext.read.json("file path")

现在，我不想加载文件。我只想获取那个 JSON 变量并将其转换为数据帧格式。这样我就可以将它应用于 tweets 变量。知道怎么做吗？谢谢！

【问题讨论】：

标签： python json apache-spark dataframe ibm-cloud

【解决方案1】：

首先将 JSON 对象转换为 RDD[String]，然后应用 `sqlContext.read.json'。这是Scala中的示例代码

val json_obj = sc.parallelize(Array("""{"tweet": "hey man", "name": "Alan"}""", """{"tweet": "what's up", "name": "Bertha"}"""))
val tweetsDF = sqlContext.read.json(json_obj)
tweetsDF.show()
//+------+---------+
//|  name|    tweet|
//+------+---------+
//|  Alan|  hey man|
//|Bertha|what's up|
//+------+---------+

【讨论】：