寻找一种有效的方式来操作 JSON 数据

Question

我一直在解析一些 JSON 文件，最终得到了一个字典，其中字符串作为键，元组列表作为值。

dict 具有以下格式：

str1: [(int1, bool), (int2, bool), ... ],
str2: [(int1, bool), (int2, bool), (int3, bool), ... ],
...
strN ...

我想要实现的是一个看起来像这样的表格：

      int1   int2  int3
str1  bool   bool
str2  bool   bool  bool

有没有办法做到这一点，而无需编写一个包含几十个嵌套 fors 和 ifs 的长算法？不是要求为我写那个，只是提示一个正确的方向。

我只是想知道如何将数据处理成类似的格式。不过，如果它能够兼容将其写入 CSV 或理想情况下的 Excel 文件，那就太好了。

Answer 1

如果您已将 JSON 解析为 data，则看起来像

data = {
    'str1': [('int1', 'bool'), ('int2', 'bool')],
    'str2': [('int1', 'bool'), ('int2', 'bool'), ('int3', 'bool')] }

然后您可以将其加载到 Pandas DataFrame 中

import pandas as pd 
df = pd.DataFrame({key:pd.Series(dict(seq)) for key, seq in data.items()}).T

这样

print(df)

产量

      int1  int2  int3
str1  bool  bool   NaN
str2  bool  bool  bool

和

df.to_csv('/tmp/out.csv')

生成包含内容的 CSV

,int1,int2,int3
str1,bool,bool,
str2,bool,bool,bool

Answer 2

好吧，如果您需要遍历它们 - 例如，出于检查或处理目的 - 任何算法都将在 lines*rows 项目中运行，平均而言，您正在解析行和行。

现在，如果您不太担心性能而是担心可读性，您可以将解析分成一些名称清晰的函数，以完成一些小步骤的操作。即使某些函数仅是提取的for循环，也会提高可读性。

Answer 3

假设你已经解析成元组列表的元组，你要问的是如何将它们分组到一个表中。

存储具有稀疏轴的 2D 表的一种明显方法是使用字典，以 int 和 str 值为键。例如：

d = defaultdict(dict)
seen_ints = set()
for s, pairs in rows:
    for i, b in pairs:
        d[s][i] = b
        seen_ints.add(i)

现在，要获取行，您只需迭代 d[s].items()。或者，如果您希望它们按字符串的排序顺序，请迭代 sorted(d[s].items())。每一行都是一个字典；要按所需顺序获取列，只需访问 row[key] for key in seen_ints。 （如果你也想对列进行排序，只需在外循环之前执行seen_ints = sorted(seen_ints)。）

或者您可以使用 csv.DictWriter 删除 seen_ints 集，然后将每一行 dict 写为 CSV 行。

Answer 4

看起来很直接，所以；

• 导入用于 JSON 解析的库
• 导入用于 CSV 写入的库

然后，将 JSON 解析为数据结构（可能是 map 或 list 和 array）并通过解析该数据结构将其写入 CSV。

如果数据结构不符合生成您所需的格式，请使用简单的for loop 来修改和转换数据结构。

为了提高效率；

• 与编写您的第一个解析器或编写器相比，使用库通常会在一般情况下提供更高的效率。
• 将任何数据操作包含在一个夹在解析和写入阶段之间的小循环中，这样您就可以让您的核心算法易于识别和阅读，从而有望提高其效率。