在从文件读取的列表中拆分 \xef\xbb\xbf [重复]

Question

我尝试读取大数据file.txt并拆分所有逗号、点等，所以我在Python中使用以下代码读取文件：

file= open("file.txt","r")
importantWords =[]
for i in file.readlines():
    line = i[:-1].split(" ")
    for word in line:
        for j in word:
            word = re.sub('[\!@#$%^&*-/,.;:]','',word)
            word.lower()
        if word not in stopwords.words('spanish'):
            importantWords.append(word)
print importantWords

它打印了['\xef\xbb\xbfdataText1', 'dataText2' .. 'dataTextn']。

如何清理\xef\xbb\xbf？我正在使用 Python 2.7。

Answer 1

我是UTF-8 encoded BOM。

>>> import codecs
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'

您可以使用 codecs.open 和 encoding='utf-8-sig' 来跳过 BOM 序列：

with codecs.open("file.txt", "r", encoding="utf-8-sig") as f:
    for line in f:
        ...

旁注：不要使用file.readlines，而是遍历文件。 file.readlines 将创建不必要的临时列表，如果您想要的只是遍历文件。