BeautifulSoup 不读取 html答案

【问题标题】：BeautifulSoup doesn't read htmlBeautifulSoup 不读取 html
【发布时间】：2019-04-27 19:10:58
【问题描述】：

在调用具有特定标头的 url 时，我设法让请求工作，并且在我调用 r.content 时打印页面 html。

url = 'http://patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=9854726.PN.&OS=PN/9854726&RS=PN/9854726'
HEADERS = { 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:63.0) Gecko/20100101 Firefox/63.0"} 

r = requests.get(url, headers = HEADERS)
r = r.content

输出符合预期（这是一个缩短的版本，因为我不想发送整个 html 垃圾邮件）：

<HTML>
<HEAD>
<BASE target="_top">
<TITLE>United States Patent: 9854726</TITLE></HEAD>
<!-BUF1=9854726
BUF7=2018
BUF8=48007
BUF9=/1/
BUF51=9
-->...

但是，当我将它传递给 BeautifulSoup 时

soup = BeautifulSoup(r)
print soup.prettify()

它只打印出来：

<html>
 <head>
  <base target="_top" />
  <title>
   United States Patent: 9854726
  </title>
 </head>
</html>

它不会打印出完整的 html。我想知道是否有任何快速解决方案？我试过用 UTF-8 对请求进行编码，但没有奏效。我也尝试过使用 r.text 而不是 r.content 但无济于事。

我知道 USPO 是一个旧网站，所以如果没有任何简单的解决方案，我将尝试使用正则表达式对其进行解析。

编辑：我刚刚想通了。问题是 BeautifulSoup 的输出格式不正确。我使用正则表达式将其删除，然后将其与原始 html 重新连接，它起作用了！感谢您的帮助

【问题讨论】：

标签： python regex web-scraping beautifulsoup python-requests

【解决方案1】：

HTML 文件格式错误（有意或无意）。它使用"<!-" 开始评论，而不是"<!--"，并且BS 无法识别该评论。作为一种快速修复，将不正确的标签开启器替换为正确的：

soup = BeautifulSoup(r.replace("<!-", "<!--"))
print(soup.prettify())
#<html>
# <head>
#  <base target="_top"/>
#  <title>
#   United States Patent: 9854726
#  </title>
# </head>
# <!--BUF1=9854726
#BUF7=2018
#BUF8=48007
#BUF9=/1/
#BUF51=9-->
#</html>

您可以关注answers to another question 了解如何提取 cmets，例如：

soup.findAll(text=lambda text: isinstance(text, bs4.Comment))
#['BUF1=9854726\nBUF7=2018\nBUF8=48007\nBUF9=/1/\nBUF51=9']

【讨论】：

这个解决方案比我找到的那个更好，更简洁。谢谢！