在 Python 中读取大量 json 文件？

Question

这不是关于读取大型 JSON 文件，而是关于以最有效的方式读取大量 JSON 文件。

问题

我正在使用来自Million song dataset 的last.fm 数据集。 数据以一组 JSON 编码的文本文件的形式提供，其中的键是：track_id、艺术家、标题、时间戳、相似和标签。

目前，在经历了几个选项后，我正在通过以下方式将它们读入 pandas，因为这是最快的，如 here 所示：

import os
import pandas as pd
try:
    import ujson as json
except ImportError:
    try:
        import simplejson as json
    except ImportError:
        import json


# Path to the dataset
path = "../lastfm_train/"

# Getting list of all json files in dataset
all_files = [os.path.join(root,file) for root, dirs, files in os.walk(path) for file in files if file.endswith('.json')] 

data_list=[json.load(open(file)) for file in all_files]
df = pd.DataFrame(data_list, columns=['similars', 'track_id'])
df.set_index('track_id', inplace=True)

当前方法读取子集（不到一秒内读取完整数据集的 1%）。然而，阅读完整的火车集太慢了，而且需要很长时间（我也等了几个小时）才能阅读，并且已经成为进一步任务的瓶颈，例如 question here 中所示。

我还使用ujson 来提高解析json 文件的速度，这可以从this question here 中明显看出

更新 1 使用生成器推导而不是列表推导。

data_list=(json.load(open(file)) for file in all_files)

Answer 1

如果您需要多次读取和写入数据集，您可以尝试将.json 文件转换为更快的格式。例如，在 pandas 0.20+ 中，您可以尝试使用 .feather 格式。

Answer 2

我会在文件和 yield 你想要的两列上构建一个迭代器。

然后您可以使用该迭代器实例化 DataFrame。

import os
import json
import pandas as pd

# Path to the dataset
path = "../lastfm_train/"

def data_iterator(path):
    for root, dirs, files in os.walk(path):
        for f in files:
            if f.endswith('.json'):
                fp = os.path.join(root,f)
                with open(fp) as o:
                    data = json.load(o)
                yield {"similars" : data["similars"], "track_id": data["track_id"]}


df = pd.DataFrame(data_iterator(path))
df.set_index('track_id', inplace=True)

这样你只检查你的文件列表一次，你不会在传递给DataFrame之前和之后复制数据