尽管读取为 UTF-8，但无法打印 Unicode 字符

Question

我正在阅读如下文件：

def main(src):
    with open(src, encoding='UTF-8') as incoming:
        for line in incoming:
            data = line
            print(data)
        del line

代码在这一行被击中（我不知道它是否会显示在浏览器中）：

    <DT><A HREF="https://www.youtube.com/watch?v=-ygKS7WU4YU" ADD_DATE="1421587655">?*** EarAbuse ♛ &#39;Pppppp&#39; (Official &amp; Uncensored) - YouTube</A>

请注意，B缺少 Chess Queen（即 \u265b）就在 EarAbuse 之后似乎是导致问题的原因据报道-

Traceback (most recent call last):
  File "a.py", line 18, in <module>
    moduleName.main(fileName)
  File "C:\Users\Systems\Desktop\merc\bm\chrome.py", line 53, in main
    print(data)
  File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u265b' in position
87: character maps to <undefined>

我有-

1. 阅读 docs.python.org/3/howto/unicode.html
2. 使用data = repr(line)
3. 打开文件时使用errors="surrogateescape"

没有爱。 charbase 还说那个 BCQ 的 python 转义是u'\u265b'，这是什么意思&我还没有实现它吗？

编辑：奇怪的是，在 IDLE 中输入 print('\u265b') 或 print(♛) 可以正常工作，没有任何错误，并表明 漂亮 BCQ - 那么有什么问题，为什么会失败'我的代码是否超出了这一行？

Answer 1

这个错误（几乎）是不言自明的。它说 Python 尝试在 Windows 1252 字符集中对字符串进行编码，这不能代表'\u265b'。它在空闲时工作正常，因为空闲是一个 GUI 应用程序仅受字体可以表示的字形限制，而控制台应用程序仅显示控制台代码页的 256 个字符。

您应该在正确的代码页中明确地将字符串转换为字节数组，使用errors='replace'：

for line in incoming:
    data = line
    print(data.encode('cp1252', errors='replace'))

当然它会显示 ? 而不是 ♛，因为控制台驱动程序无法显示该 UTF 字符，但您不会收到任何错误。

如果您不喜欢 b'...' 说您正在打印 8 位字符，请再次转换回字符串：

    print(data.encode('cp1252', errors='replace').decode('cp1252'))

正反向编码只是确保所有字符现在都可以在控制台上打印（或被替换）。

Answer 2

当您尝试打印 BCQ 字符时会出现此问题。我猜您的控制台编码/语言环境无法发出所有 Unicode 代码点 - 即它是 ASCII 或 256 个字符的代码页。

不要打印，试试：

import sys

sys.stdout.buffer.write(data.encode('utf8'))