为什么我收到“UnicodeEncodeError: 'charmap' codec can't encode character '\u25b2' in position 84811: character maps to <undefined>”错误？

Question

运行此代码时出现 UnicodeEncodeError: 'charmap' codec can't encode character '\u200b' in position 756: character maps to 错误::

from bs4 import BeautifulSoup
import requests
r = requests.get('https://stackoverflow.com').text
soup = BeautifulSoup(r, 'lxml')
print(soup.prettify())

输出是：

Traceback (most recent call last):
  File "c:\Users\Asus\Documents\Hello World\Web Scraping\st.py", line 5, in <module>
    print(soup.prettify())
  File "C:\Users\Asus\AppData\Local\Programs\Python\Python38\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u200b' in position 756: character maps to <undefined>

我在 vs 代码中使用 python 3.8.1 和 UTF-8。如何解决？

Answer 1

完整的错误消息中有提示...我将在这里保留看起来最重要的内容：

Traceback ...
  File "...\cp1252.py", ...
UnicodeEncodeError: 'charmap' codec can't encode character '\u200b' ...

错误是由print 调用引起的。在您的文本中的某处，您有一个零宽度空格字符（Unicode U+200B），如果您打印到 Windows 控制台，则该字符串在内部编码到 Windows 控制台代码页（此处为 cp1252）。并且该代码页中未表示零宽度空间。顺便说一句，默认控制台在 Windows 中并不是真正的 unicode 友好。

在 Windows 控制台中几乎没有什么可做的。我建议您尝试以下解决方法之一：

• 不打印到控制台，而是写入 (utf8) 文件。然后，您将能够使用支持 utf8 的文本编辑器（如 notepad++）阅读它

• 在打印之前手动对任何内容进行编码，使用errors='ignore' 或errors='replace'。这样，可能有问题的字符将被忽略，不会出现错误

    print(soup.prettify().encode('cp1252', errors='ignore'))
  

Answer 2

你可以自己探索一点……但对于 python 2.7，我通常做的是用它来清理我的文本：

text = text.encode('utf-8').decode('ascii', 'ignore')

python 3 的等价物很简单：

text = str(text)

对于你的情况，试试这个：

r = requests.get('https://stackoverflow.com').text.encode('utf8').decode('ascii', 'ignore')

否则正常：

r = requests.get('https://stackoverflow.com')
soup = BeautifulSoup(r.content, 'lxml')
print soup

（我认为这不会有任何错误。）

Answer 3

对于python3，你可以使用：

text = str(text.encode('utf-8'))