为什么预处理会导致我丢失字典键？

Question

有一个非常奇特的问题。 extract 函数接受一个 XML 文件，并使用餐厅评论作为键生成一个字典。在这里，我在将文本用于情感分析时对文本进行了一些基本的预处理：文本被标记，标点符号被删除，并且在重新插入到字典之前它是“未标记的”。

import string
from nltk.tokenize import word_tokenize, RegexpTokenizer
tokenizer = RegexpTokenizer(r'\w+')

def preprocess(file):
    d = extract(file)
    for text in list(d.keys()):
        tokenized_text = tokenizer.tokenize(text)
        text2 = ''.join([" "+i if not i.startswith("'") and i not in string.punctuation else i for i in tokenized_text]).strip()
        d[text2] = d.pop(text) 
    return d

在 675 条评论中，有 2 条在此功能运行后丢失。这些都是“很棒的服务”。和“美味”。我希望这些会按原样返回，除了句号应该从第一个中删除。

供参考，extract 函数：

from collections import OrderedDict, defaultdict
import xml.etree.ElementTree as ET

def extract(file):

    tree = ET.parse(file)
    root = tree.getroot()

    if file == 'EN_REST_SB1_TEST.xml':
        d = OrderedDict()
        for sentence in root.findall('.//sentence'):
            opinion = sentence.findall('.//Opinion')
            if opinion == []:
                text = sentence.find('text').text
                d[text] = 0

        return d 

如果有人熟悉 SemEval ABSA 任务，您会注意到我以一种有点迂回的方式完成了这项工作，没有使用 XML 中的 id 标签，但我更愿意坚持我的方式完成了。

Answer 1

您将评论用作键，这意味着您将丢失所有重复项。显然，这些非常简短的评论出现了两次。

我想不出任何理由使用评论作为关键，特别是如果您关心保留重复项。那么为什么不把它们收集到一个列表中呢？

d = []
...
d.append(text)