BeautifulSoup find_all UnicodeEncodeError [重复]

Question

我有以下从tutorial 得到的代码：

from bs4 import BeautifulSoup
import requests
req=requests.get("http://www.aflcio.org/Legislation-and-Politics/Legislative-Alerts")
data=req.text
soup=BeautifulSoup(data)
letters=soup.find_all("div",class_="ec_statements")
print(letters)

我收到以下错误：

Traceback (most recent call last):
  File ".\scr3.py", line 7, in <module>
    print(letters)
  File "C:\Users\adi\AppData\Local\Programs\Python\Python35\lib\encodings\cp437.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u2019' in position 7787: character maps to <undefined>

如果我尝试将encode('utf-8') 方法应用于letters 对象，我会收到一个属性错误，提示“ResultSet 对象没有属性编码”。

有人知道打印字母对象的解决方法吗？我在 Windows 7 上使用 Python 3.5 和 BeautifulSoup 4。

Answer 1

回答我自己的问题。

我使用 Windows 命令行来执行 Python 脚本。事实证明，命令行无法处理打印输出。我意识到当我将输出发送到文本文件时：

python script.py > text.txt

这并没有引发错误。或者，如果我仍然想在命令行中显示输出，我可以先为其设置 utf-8：

chcp 65001 

然后执行脚本。

Answer 2

因为find_all() 返回一组结果。使用 for 循环遍历每个返回的元素：

from bs4 import BeautifulSoup
import requests
req=requests.get("http://www.aflcio.org/Legislation-and-Politics/Legislative-Alerts")
data=req.text
soup=BeautifulSoup(data)
letters=soup.find_all("div",class_="ec_statements")
for letter in letters:
   print(letter.encode('utf-8'))
   print(letter.text)

您还可以使用.text 函数，它会为您提供找到的元素的文本并自动处理编码。

当使用.find() 时，您会得到一个元素作为结果并可以将其打印出来，.findAll()（或通常用 Python 编写为.find_all()）返回一组元素，它没有函数 .encode()，因为它是一个 Unicode 对象。

另一种可能的解决方案是在脚本开头写# -*- coding: utf-8 -*-。

print(letters) 在脚本开头写了# -*- coding: utf-8 -*- 后为我工作，没有它也为我工作，但我使用的是 Python 2.7