windows python上的utf-8

Question

我有 html 文件来读取解析等，它是在 unicode 上编码的（我用记事本看到的）但是当我尝试时

infile = open("path", "r") 
infile.read()

它失败了，我遇到了著名的错误：

UnicodeEncodeError：“charmap”编解码器无法编码位置 xx 中的字符：字符映射到未定义

所以为了测试，我尝试将文件的包含内容复制粘贴到一个新文件中并将其保存在 utf-8 中，然后尝试使用这样的编解码器打开它：

inFile = codecs.open("path", "r", encoding="utf-8")
outputStream = inFile.read()

但我收到此错误消息：

UnicodeEncodeError : 'charmap' 编解码器无法在位置 0 对字符 u'\ufeff' 进行编码：字符映射到未定义

我真的不明白，因为我是用utf8创建这个文件的。

Answer 1

UnicodeEncodeError 建议代码在 encoding Unicode 文本到字节时失败，即您的实际代码尝试打印到 Windows 控制台。见Python, Unicode, and the Windows console。

---

上面的链接修复了UnicodeEncodeError。下一个问题是找出"path" 文件中的文本使用什么字符编码。如果notepad.exe 正确显示文本，则意味着它是使用locale.getprefferedencoding(False) 编码的（类似于Windows 上的cp1252）或文件具有BOM。

如果您确定编码是 utf-8 则直接将其传递给open()。不要使用codecs.open()：

with open('path', encoding='utf-8') as file:
    html = file.read()

有时，输入可能包含使用多个（不一致）编码编码的文本，例如，智能引号可能使用cp1252 编码，而 html 的其余部分是 utf-8 ——您可以使用 bs4.UnicodeDammit 修复它。另见A good way to get the charset/encoding of an HTTP response in Python

Answer 2

期待OP更新问题以反映实际问题，该问题是由于未定义终端编码引起的。

Windows 控制台在 Unicode 支持方面是出了名的差。如需终极支持，请参阅https://pypi.python.org/pypi/win_unicode_console。本质上，安装“win_unicode_console”（pip install win_unicode_console）。然后在代码的顶部：

import win_unicode_console
win_unicode_console.enable()

您可能还需要使用合适的字体 - 请参阅 https://stackoverflow.com/a/5750227/1554386

当您使用带有 UTF-8 BOM 的输入时，您应该使用 utf_8_sig 编解码器，以便在处理内容之前剥离 BOM。

由于这是 Python 3，所以在使用 open() 时无需使用 codecs 模块来设置编码。

把它放在一起看起来像：

import win_unicode_console
win_unicode_console.enable()

infile = open("path", "r", encoding="utf_8_sig")

Answer 3

原始文件可能使用utf-16（Windows 使用术语UNICODE 表示该编码）。

Windows 上的 UTF-8 编码文件通常以幻数 b"\xef\xbb\xbf"（U+FEFF 的 UTF-8 编码）开头，因此读取该文件的应用程序知道它被保存为 UTF-8 而不是某些 ANSI 代码页。 utf8-sig 将自动丢弃该字符。