想要 Python 创建一个 UTF-8 文件，得到一个 ANSI 文件。为什么？

Question

我有以下功能：

def storeTaggedCorpus(corpus, filename):
    corpusFile = codecs.open(filename, mode = 'w', encoding = 'utf-8')
    for token in corpus:
        tagged_token = '/'.join(str for str in token)
        tagged_token = tagged_token.decode('ISO-8859-1')
        tagged_token = tagged_token.encode('utf-8')
        corpusFile.write(tagged_token)
        corpusFile.write(u"\n")
    corpusFile.close()

当我执行它时，出现以下错误：

(...) in storeTaggedCorpus
    corpusFile.write(tagged_token)
  File "c:\Python26\lib\codecs.py", line 691, in write
    return self.writer.write(data)
  File "c:\Python26\lib\codecs.py", line 351, in write
    data, consumed = self.encode(object, self.errors)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0: ordinal not in range(128)

所以我去调试它，发现创建的文件被编码为 ANSI，而不是corpusFile = codecs.open(filename, mode = 'w', encoding = 'utf-8') 中声明的 UTF-8。如果 corpusFile.write(tagged_token) 被删除，这个函数将（显然）工作，文件将被编码为 ANSI。相反，如果我删除tagged_token = tagged_token.encode('utf-8')，它也会起作用，但是生成的文件将具有编码“ANSI as UTF-8”（???）并且拉丁字符将被破坏。由于我正在分析 pt-br 文本，因此这是不可接受的。

我相信如果 corpusFile 以 UTF-8 格式打开，一切都会正常工作，但我无法让它工作。我在网上搜索过，但我发现的关于 Python/Unicode 的所有内容都涉及其他内容……那么为什么这个文件总是以 ANSI 结尾？我在 Windows 7 x64 中使用 Python 2.6，这些文件编码是从 Notepad++ 通知的。

编辑——关于corpus参数

我不知道corpus 字符串的编码。它是由PlaintextCorpusReader.tag() 方法从NLTK 生成的。根据 Notepad++，原始语料库文件以 UTF-8 编码。 tagged_token.decode('ISO-8859-1') 只是一个猜测。我尝试将其解码为 cp1252，并从 ISO-8859-1 中获得了相同的损坏字符。

Answer 1

当您使用codec.open('w', encoding='utf8') 打开文件时，将字节数组（str 对象）写入文件是没有意义的。相反，编写unicode 对象，如下所示：

corpusFile = codecs.open(filename, mode = 'w', encoding = 'utf-8')
# ...
tagged_token = '\xdcml\xe4ut'
tagged_token = tagged_token.decode('ISO-8859-1')
corpusFile.write(tagged_token)
corpusFile.write(u'\n')

这将写入与平台相关的行尾字符。

或者，打开一个二进制文件并写入已编码字符串的字节数组：

corpusFile = open(filename, mode = 'wb')
# ...
tagged_token = '\xdcml\xe4ut'
tagged_token = tagged_token.decode('ISO-8859-1')
corpusFile.write(tagged_token.encode('utf-8'))
corpusFile.write('\n')

这将编写独立于平台的 EOL。如果您想要platform-dependent EOL，请打印os.sep 而不是'\n'。

注意encoding naming in Notepad++ is misleading:ANSI as UTF-8就是你想要的。

Answer 2

尝试使用 UTF-8 签名（又名 BOM）编写文件：

def storeTaggedCorpus(corpus, filename):
    corpusFile = codecs.open(filename, mode = 'w', encoding = 'utf-8-sig')
    for token in corpus:
        tagged_token = '/'.join(str for str in token)
        # print(type(tagged_token)); break
        # tagged_token = tagged_token.decode('cp1252')
        corpusFile.write(tagged_token)
        corpusFile.write(u"\n")
    corpusFile.close()

请注意，这只有在 tagged_token 是 unicode 字符串时才能正常工作。要检查这一点，请取消注释上述代码中的第一条注释 - 它应该打印 <type 'unicode'>。

如果tagged_token 不是 unicode 字符串，那么您需要先使用第二个注释行对其进行解码。 （注意：我假设是“cp1252”编码，但如果您确定它是“iso-8859-1”，那么您当然需要更改它。）

Answer 3

如果您从文件中看到“损坏”的字符，您需要确保用于查看文件的任何内容都理解该文件是 UTF-8 编码的。

这段代码创建的文件：

import codecs
for enc in "utf-8 utf-8-sig".split():
    with codecs.open(enc + ".txt", mode = 'w', encoding = enc) as corpusFile:
        tagged_token = '\xdcml\xe4ut'
        tagged_token = tagged_token.decode('cp1252') # not 'ISO-8859-1'
        corpusFile.write(tagged_token) # write unicode objects
        corpusFile.write(u'\n')

因此被识别：

Notepad++（版本 5.7 (UNICODE)）：不带 BOM 的 UTF-8、UTF-8
Firefox (7.0.1)：西方 (ISO-8859-1)、Unicode (UTF-8)
记事本（Windows 7）：UTF-8、UTF-8

将 BOM 放入 UTF-8 文件中，虽然在 Unix 系统上已弃用，但在 Windows 上，其他软件能够将您的文件识别为 UTF-8 编码的文件的机会要大得多。