pyspark 数据帧到有效的 json答案

【问题标题】：pyspark dataframe to valid jsonpyspark 数据帧到有效的 json
【发布时间】：2022-03-01 21:31:02
【问题描述】：

我正在尝试将数据帧转换为有效的 json 格式，但是我还没有成功。

如果我这样做：

fullDataset.repartition(1).write.json(f'{mount_point}/eds_ckan', mode='overwrite', ignoreNullFields=False)

我只得到这样的基于行的 json：

{"col1":"2021-10-09T12:00:00.000Z","col2":336,"col3":0.0}
{"col1":"2021-10-16T20:00:00.000Z","col2":779,"col3":6965.396}
{"col1":"2021-10-17T12:00:00.000Z","col2":350,"col3":0.0}

有谁知道如何将其转换为非基于行的有效 json？

【问题讨论】：

你能举例说明你的预期输出是什么样的吗？
能否请您参考一下：stackoverflow.com/questions/53426420/… & stackoverflow.com/questions/58238563/…

标签： json azure pyspark databricks

【解决方案1】：

以下是将数据帧转换为有效 Json 的示例示例

尝试使用Collect，然后使用json.dump

import json
collected_df = df_final.collect()
with open(data_output_file + 'createjson.json', 'w') as outfile:
    json.dump(data, outfile)

这里有一些相关讨论的链接，您可以通过这些链接获取完整信息。

Dataframe to valid JSON

Valid JSON in spark

【讨论】：