使用pandas python将多个json转换为csv

Question

尝试将多个 json 文件转换为 1 个 csv 文件
尝试了2种方法，
第一个使用熊猫， 第二个使用 json 和 csv 编写器
关于我的 json

keys are unordered and some keys are different in every file

使用编写器编写代码

file_list=os.listdir('output')
count = 0
for file in file_list:
    dict={}
    file_path = "output/" + file
    with open(file_path,'r') as f:
        jsonData=json.load(f)
        datafile=open('data.csv','a')
        csv_writer = csv.writer(datafile)
        if count == 0:
            header = jsonData.keys()
            csv_writer.writerow(header)
            count += 1
            csv_writer.writerow(jsonData.values())
        if count == 1:
            csv_writer.writerow(jsonData.values())

        datafile.close()

问题

bcoz my data is unordered and different keys so in my csv file wrong value is coming under wrong header

使用 Pandas 编写代码

for file in file_list:
    dict={}
    file_path = "output/" + file
    with open(file_path,'r') as f:
        jsonData=json.load(f)
        for j in jsonData:


            dict.update({j:[jsonData[j]]})
        df=pd.DataFrame(dict)
        df.to_csv("hello.csv")

问题

i dont know how to append in pandas 
so this is showing only 2 rows bcoz of my last json file i guess

在我的 json 中

Answer 1

试试这个代码：

import pandas as pd
import json
import pathlib

data_path = pathlib.Path('.')
keys = ['Solutions', 'account_number', 'actual_reading_current','actual_reading_previous', 'address', 'amount_due']
dat = dict([(k, []) for k in keys])

for jfile in data_path.glob('*.json'):
    with jfile.open('r') as ifile:
        json_data = json.load(ifile)
    for key in keys:
        dat[key].append(json_data[key][0] if key in json_data else None)

result = pd.DataFrame.from_dict(dat)
result.to_csv('result.csv')

我首先定义一个包含我想要的列的字典。 然后我读入 json 文件并将它们作为行附加到字典中。

请注意，我必须编辑您的 json 文件，其中一个缺少结束引号，我必须用双引号替换单引号。