将带有嵌套 JSON 的 CSV 导入 Pandas DataFrame

Question

我正在尝试使用 Jupiter Notebook 导入一个包含两个嵌套 JSON 对象的 csv 文件。

我收到了这个错误。

ParserError：标记数据时出错。 C 错误：预计第 3 行中有 29 个字段，看到 35

问题在于 Pandas 无法识别 JSON 对象，而只使用逗号分隔的 CSV 分隔符。

这是 CSV 文件的示例行：

309,DVD10_Welt.mxf,16947519284,00:37:32:24,0_yd3ugljx,"{"Type":"Source","Content-Type":"Beitrag"}",97,"Welt",NULL,NULL,NULL,"{"ContentType":"Beitrag","Description":"Sie beobachten jeden.","Keywords":["wissensthek","zukunft","\u00dcberwachung","roboter","technik","internet","dvd","wissen"],"ProductionDate":"2013-07-10T00:30:06.000Z","TitleIntern":null}"

这是我在 Jupyter 中的线路：

df = pd.read_csv(csv_file)
df

有人可以给我一个提示吗？

谢谢曼努埃尔

Answer 1

我认为如果不进行预处理就无法阅读它，因为它不是有效的 CSV 文件。

如果您可以保存正确引用的 CSV 文件 - 它会起作用。

演示：

In [87]: df = pd.DataFrame({'ID':[1,2]})

In [88]: df['JSON'] = '{"Type":"Source","Content-Type":"Beitrag"}'

In [89]: df
Out[89]:
   ID                                        JSON
0   1  {"Type":"Source","Content-Type":"Beitrag"}
1   2  {"Type":"Source","Content-Type":"Beitrag"}

In [90]: df.to_csv('d:/temp/a.csv', index=False)

生成的 CSV：

ID,JSON
1,"{""Type"":""Source"",""Content-Type"":""Beitrag""}"
2,"{""Type"":""Source"",""Content-Type"":""Beitrag""}"

检查：

In [91]: pd.read_csv('d:/temp/a.csv')
Out[91]:
   ID                                        JSON
0   1  {"Type":"Source","Content-Type":"Beitrag"}
1   2  {"Type":"Source","Content-Type":"Beitrag"}