UnicodeEncodeError：“charmap”编解码器无法编码字符

Question

我正在尝试抓取一个网站，但它给了我一个错误。

我正在使用以下代码：

import urllib.request
from bs4 import BeautifulSoup

get = urllib.request.urlopen("https://www.website.com/")
html = get.read()

soup = BeautifulSoup(html)

print(soup)

我收到以下错误：

File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined>

我能做些什么来解决这个问题？

Answer 1

将抓取的网页内容保存到文件时，我得到了相同的 UnicodeEncodeError。为了修复它，我替换了这段代码：

with open(fname, "w") as f:
    f.write(html)

用这个：

with open(fname, "w", encoding="utf-8") as f:
    f.write(html)

如果你需要支持 Python 2，那么使用这个：

import io
with io.open(fname, "w", encoding="utf-8") as f:
    f.write(html)

如果您的文件以非 UTF-8 编码，请指定 encoding 的实际编码。

Answer 2

我通过将.encode("utf-8") 添加到soup 来修复它。

这意味着print(soup) 变成了print(soup.encode("utf-8"))。

Answer 3

在 Python 3.7 和运行 Windows 10 的情况下，这是可行的（我不确定它是否可以在其他平台和/或其他版本的 Python 上运行）

替换这一行：

with open('filename', 'w') as f:

有了这个：

with open('filename', 'w', encoding='utf-8') as f:

之所以能工作，是因为在使用文件的时候编码改成了UTF-8，所以UTF-8中的字符能够转成文本，而不是遇到UTF-8时返回错误当前编码不支持的字符。

Answer 4

set PYTHONIOENCODING=utf-8
set PYTHONLEGACYWINDOWSSTDIO=utf-8

您可能需要也可能不需要设置第二个环境变量PYTHONLEGACYWINDOWSSTDIO。

或者，这可以在代码中完成（尽管似乎建议通过 env vars 来完成）：

sys.stdin.reconfigure(encoding='utf-8')
sys.stdout.reconfigure(encoding='utf-8')

---

另外： 重现这个错误有点痛苦，所以也把它留在这里，以防你需要在你的机器上重现它：

set PYTHONIOENCODING=windows-1252
set PYTHONLEGACYWINDOWSSTDIO=windows-1252

Answer 5

在保存 get 请求的响应时，在窗口 10 上的 Python 3.7 上抛出了同样的错误。从 URL 接收到的响应，编码是 UTF-8，因此始终建议检查编码，以便可以传递相同的错误以避免如此琐碎的问题，因为它确实会浪费大量的生产时间

import requests
resp = requests.get('https://en.wikipedia.org/wiki/NIFTY_50')
print(resp.encoding)
with open ('NiftyList.txt', 'w') as f:
    f.write(resp.text)

当我在 open 命令中添加 encoding="utf-8" 时，它会以正确的响应保存文件

with open ('NiftyList.txt', 'w', encoding="utf-8") as f:
    f.write(resp.text)

Answer 6

即使我在尝试打印、读/写或打开它时也遇到了同样的编码问题。正如上面提到的其他人所提到的，如果您尝试打印它，添加 .encoding="utf-8" 会有所帮助。

soup.encode("utf-8")

如果您尝试打开抓取的数据并将其写入文件，请使用 (......,encoding="utf-8") 打开文件

将 open(filename_csv , 'w', newline='',encoding="utf-8") 作为 csv_file:

Answer 7

对于那些仍然收到此错误的人，将 encode("utf-8") 添加到 soup 也可以解决此问题。

soup = BeautifulSoup(html_doc, 'html.parser').encode("utf-8")
print(soup)

Answer 8

如果您使用的是 windows，请尝试传递 encoding='latin1', encoding='iso-8859-1' 或 encoding='cp1252' 示例：

csv_data = pd.read_csv(csvpath,encoding='iso-8859-1')
print(print(soup.encode('iso-8859-1')))