如何将 csv 文件读取为 json，然后将其读取为列表并删除选定列表？

Question

我目前正在测试如何分析包含大量数据（如 30000 条记录）的大型 CSV 文件 下图是我想提取“动画”、“戏剧”、“喜剧”等词的栏目的一部分。

我建议的步骤如下：

1. 打开 CSV 文件并将其读取为 json？以便数据保存在列表中？
2. 使用 for 循环遍历整个列（我不确定这部分）
3. 删除列表？或提取措辞？

以下是 2 列，还有更多列，但我想先尝试提取单词。

样本数据：

[{'id': 16, 'name': 'Animation'}, {'id': 35, 'name': 'Comedy'}, {'id': 10751, 'name': 'Family'}]
[{'id': 12, 'name': 'Adventure'}, {'id': 14, 'name': 'Fantasy'}, {'id': 10751, 'name': 'Family'}]
[{'id': 10749, 'name': 'Romance'}, {'id': 35, 'name': 'Comedy'}]
[{'id': 35, 'name': 'Comedy'}, {'id': 18, 'name': 'Drama'}, {'id': 10749, 'name': 'Romance'}]
[{'id': 35, 'name': 'Comedy'}]
[{'id': 28, 'name': 'Action'}, {'id': 80, 'name': 'Crime'}, {'id': 18, 'name': 'Drama'}, {'id': 53, 'name': 'Thriller'}]
[{'id': 28, 'name': 'Action'}, {'id': 80, 'name': 'Crime'}, {'id': 18, 'name': 'Drama'}, {'id': 53, 'name': 'Thriller'}]
[{'id': 28, 'name': 'Action'}, {'id': 80, 'name': 'Crime'}, {'id': 18, 'name': 'Drama'}, {'id': 53, 'name': 'Thriller'}]
[{'id': 35, 'name': 'Comedy'}, {'id': 10749, 'name': 'Romance'}]
[{'id': 28, 'name': 'Action'}, {'id': 12, 'name': 'Adventure'}, {'id': 18, 'name': 'Drama'}, {'id': 10751, 'name': 'Family'}]```

Answer 1

您的方法是正确的，但我会说它不会那么有效，而是您可以优化您的源以以适当的方式提供文件。

试试下面的代码，希望对你有帮助。

import ast, json
import pandas as pd
from csv import reader
file_name = 'test_file.csv'
data = []
with open(file_name, 'r') as read_obj:
    csv_reader = reader(read_obj)
    headings = next(csv_reader)
    for row in csv_reader:
        data.extend(ast.literal_eval(row[0]))

df = pd.DataFrame(data)
out_df = df[df['name'].str.contains("Animation|Drama|Comedy")]
print(out_df)

我希望你可以从那里继续。

Answer 2

Pandas 是分析大型 csv 的一种快速/强大的方法。可能有更快的方法，但您可以尝试以下方法：

import pandas as pd

main_col = 'genres'
sub_cols = ['name','id']
search_str = 'ANIMATION'

# read csv as pandas dataframe, using only the columns you care about, e.g. 'Genre'
df_csv = pd.read_csv(filename,usecols=[main_col])

movies = {}
# iterate over all rows
for index,row in df_csv.iterrows():
    # evaluate the string as a list of dicts
    row_as_list = eval(row)

    for dictionary in row_as_list:
        val = dictionary[subCols[0]]
        key = dictionary[subCols[1]]

        # filter for only the results you want
        if search_str in movie_name.upper():
            movies[key] = val

这会给你一个看起来像这样的字典：

movies = {
    '1': 'Movie1',
    '2': 'Movie2'
}

这是解决您的问题的有效解决方案，但如果您以更合理的方式将数据存储在 csv 中，即每行只有一个 name:id 对，您可以使用 pandas 获得更快、更清洁的方法。