BeautifulSoup错误'charmap'编解码器无法编码字符[重复]

Question

这是我目前拥有的代码

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36'}
r = requests.get("http://www.google.com", headers=headers)
page_text = r.text
soup = BeautifulSoup(page_text, 'html.parser')
print(soup.prettify())

理论上它应该向google发送一个请求，取回文本并使用beautifulsoup的prettify()方法

这是他们的示例代码（来自http://www.crummy.com/software/BeautifulSoup/bs4/doc/#getting-help）

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

print(soup.prettify())

每次运行此代码时，我都会收到编解码器错误。这是确切错误的屏幕截图

找到解决方案

解决方案不是使用 print() 从堆栈交换成员中使用此打印方法。

def uprint(*objects, sep=' ', end='\n', file=sys.stdout):
    enc = file.encoding
    if enc == 'UTF-8':
        print(*objects, sep=sep, end=end, file=file)
    else:
        f = lambda obj: str(obj).encode(enc, errors='backslashreplace').decode(enc)
        print(*map(f, objects), sep=sep, end=end, file=file)

Answer 1

当您的终端/powershell 无法打印出从 BeautifulSoup 接收到的任何字符时，就会发生这种情况。两种解决方法，第一种比第二种更好：

1. 如PEP 0263 中所引用，您可以通过键入# coding=<encoding name> 或# -*- coding: <encoding name> -*- 来声明python 应该使用什么编码 您将放置 shebang 线的位置。

2. 不是推荐的方法 - 在你的 python 脚本的开头，

   import sys
   reload(sys)
   sys.setdefaultencoding('utf8') # or whichever one you want to use.
   

   这是不推荐的方法，因为它实际上是对 sys 模块的一种滥用，但如果您正在编写一个不是非常复杂的程序，那么它会在紧要关头工作。