将 JSON 传输到 pandas DataFrame答案

【问题标题】：transferring JSON to pandas DataFrame将 JSON 传输到 pandas DataFrame
【发布时间】：2019-11-14 09:21:57
【问题描述】：

我正在尝试从两个 json 文件中读取一些数据，并找到具有相同名称的用户，然后从他们那里获取特定键的值，但是，其中一个 (data_bvp) 有问题列表中有 100 行和 1 列。当我将数据框保存为 csv 文件时，我得到了这个

第一个 json 文件如下所示：

{ "Name": "Alex" :["bvp":[1,2,3], "gsr":[3,2,1] ] } , { "Name": "Laura" :["bvp":[2,3,4], "gsr":[3,2,1] ] }

secon jason 文件包含以下元素：

{ "Name" : "Alex" : ["calm" :0 , "tension":1] }, { "Name": "Laura" : ["calm":1, "tesnion":0}

我要去获取具有相同名称的数据，以便从每个 json 文件中获取 bvp 和张力的值并将其保存为 csv 文件。

数据似乎没有以正确的格式保存，例如 [[1,2,3], [2,3,4]] 我可以看到列表如下所示： [1,2,3 , [2,3,4

实际上，我的最终数据集如下所示：

 name   col1 col2 col3 tension
  Alex   1   2    3    1
  Laura  2   3    4    0

您知道我的代码的哪一部分有问题吗？谢谢！

with open('raw_data-export.json') as data_file:
    data_bvp = json.loads(data_file.read())
arr_b = list(data_bvp.keys())

with open('v2-1-data-export.json') as data_file_2:
    data_tension = json.loads(data_file_2.read())
arr_tension = list(data_tension.keys())

matches =[]
for i in arr_b:
    for j in arr_tension:
        if i == j:
            matches.append(i)
print("MATCHES", matches)


bvps = []
tension = []

for b in matches:
    bvps.append(data_bvp[b]['bvp'])
       # PROBLEM 

for t in matches:
    tension.append(data_tension[t]['pre']['tense'])



bvp_data_frame = pd.DataFrame(bvps)
bvp_data_frame.to_csv('./bvp.csv')

【问题讨论】：

没有您的 json 文件样本，很难回答
编辑您的问题以添加示例。每个json几行就够了，只要确保使用你的代码我们就能看到问题
第二行的 data_b 必须是 data_bvp 吧？
@JissRaphel 是的！我编辑了问题
您可以只使用 json_load 并使用 pandas.io.json 中的 json_normalize()。检查stackoverflow.com/questions/21104592/json-to-pandas-dataframe

标签： python json pandas list

【解决方案1】：

我按如下方式创建了测试数据帧：

t1 = '''[
    {"Name": "Alex",  "bvp": [1,2,3], "gsr": [3,2,1]},
    {"Name": "Laura", "bvp": [2,3,4], "gsr": [3,2,1]} ]'''
df1 = pd.DataFrame(json.loads(t1))    
t2 = '''[
    {"Name": "Alex",  "calm": 0, "tension": 1},
    {"Name": "Laura", "calm": 1, "tension": 0} ]'''
df2 = pd.DataFrame(json.loads(t2))

（略有更改，因为您的原始 JSON 字符串导致错误）。

第一步是创建一个工作DataFrame - bvp 列的中断分成单独的列，带有原始索引：

wrk = pd.DataFrame(df1.bvp.tolist(), index=df1.index,
    columns=['col1', 'col2', 'col3'])

结果是：

   col1  col2  col3
0     1     2     3
1     2     3     4

为了得到最终结果，运行：

df1.join(wrk).drop(columns=['bvp', 'gsr']).merge(df2, on='Name')

注意操作顺序：

第一个 df1 与 wrk 连接（在索引上）。
然后 bvp 和 gsr 列被删除。
最后结果是 merged 与 df2（在 Name 上）。

【讨论】：