解析空格分隔的命名字段

Question

我有一种特定格式的数据（从splunk> 导出），它是 CSV 和命名字段的混合体。我想了解在 Python 中是否可以通过模板（或简化的、普通人可以理解的正则表达式）解析此类数据

"Harry Potter", "book", "12 Mar 2014 note=""good"" language=""English"""
"Forrest Gump", "movie", "14 March 2015 note=""good"" language=""Aztec"""

如您所见，第一个字段以逗号分隔，然后是一个以日期开头的长字符串，然后是一些命名字段（note、language）。

我想仅从命名字段构建一个字典列表：

[
    {'note': 'good', 'language'='English'},
    {'note': 'good', 'language'='Aztec'}
]

解析 CSV 后，我得到了最后一个字段（例如第一行的 "12 Mar 2014 note=""good"" language=""English"""）然后我被卡住了，我能想到的唯一解决方案是尝试在正则表达式中描述该行（这很可怕:)。即使我设法提取了元组，如何将它们翻译成字典？

Answer 1

csv 模块将为您处理外部 和 双引号，开箱即用。您的列有外引号（确保保留值中的分隔符、引号和换行符），并且值中的任何引号都加倍； csv.reader() 将删除外部引号并返回第三列的单引号字符串。

命名字段可以用正则表达式处理：

import csv
import re

keyvalue = re.compile(r'([^"= ]+)="([^"]+)"')


with open(filename, 'rb') as infh:
    reader = csv.reader(infh, skipinitialspace=True)
    namedfields = [dict(keyvalue.findall(row[2])) for row in reader]

skipinitialspace 选项删除分隔符后的所有空格；这是为了确保正确删除引用的列值之前的空格，从而确保处理引用。

这里的re.findall() 方法返回一个(key, value) 元组列表，dict() 类型会将它们直接转换成字典。

演示：

>>> import csv
>>> import re
>>> keyvalue = re.compile(r'([^"= ]+)="([^"]+)"')
>>> sample = '''\
... "Harry Potter", "book", "12 Mar 2014 note=""good"" language=""English"""
... "Forrest Gump", "movie", "14 March 2015 note=""good"" language=""Aztec"""
... '''
>>> reader = csv.reader(sample.splitlines(True), skipinitialspace=True)
>>> [dict(keyvalue.findall(row[2])) for row in reader]
[{'note': 'good', 'language': 'English'}, {'note': 'good', 'language': 'Aztec'}]