如何将pyspark数据框中的Jsonstring列转换为jsonobject？

Question

我的 pyspark 数据框中有一个带有 jsonstring 的列，并试图摄取到 cosmos DB。由于字符串类型，jsonstring 用 "\" cosmos db 转义。将此列类型从字符串转换为 json 对象的最佳方法是什么？

带有 jsonstring 的数据框列 -

[{"日期":"2020 年 11 月 13 日下午 3:23:21","Ids":"[]","col2":"abc","col3":"","value3" :"[]","currency":"","status":"Active","tag":"[]","Info":"[]"}]

迁移 cosmos db 后，该值变为

[{\"日期":\"2020 年 11 月 13 日下午 3:23:21\",\"Ids\":\"[]\",\"col2\":\"abc\" ,\"col3\":\"\",\"value3\":\"[]",\"currency":\"\",\"status":\"Active\",\"tag": \"[]\",\"信息\":\"[]\"}]

感谢您的帮助！

Answer 1

如果您想在数据框中创建 json 对象，请使用 collect_list + create_map + to_json 函数。

以下是示例供参考：

Create JSON object:

df.agg(collect_list(create_map(lit("product"),"product",lit("cost"),"cost")).alias("stru")).\  
selectExpr("to_json(stru) as json").\  
show(10,False)

#+-------------------------------------------------------------------------------------------------------------------------------+  
#|json |  
#+-------------------------------------------------------------------------------------------------------------------------------+  
#|[{"product":"pen","cost":"10"},{"product":"book","cost":"40"},{"product":"bottle","cost":"80"},{"product":"glass","cost":"55"}]|  
#+-------------------------------------------------------------------------------------------------------------------------------+

#write to hdfs use .saveAsTextFile  
df.agg(collect_list(create_map(lit("product"),"product",lit("cost"),"cost")).alias("stru")).selectExpr("to_json(stru) as json").rdd.map(lambda x:x['json']).saveAsTextFile("<path>")

#cat part-00000  
#[{"product":"pen","cost":"10"},{"product":"book","cost":"40"},{"product":"bottle","cost":"80"},{"product":"glass","cost":"55"}]

这里是参考SO线程