BeautifulSoup 有时会出现异常

Question

奇怪的是，有时 BeautifulSoup 对象确实提供了所需的数据，但有时我会收到类似或 listindex error 或 out of range 或 nonetype object does not have attribute findNext() 的错误，这是嵌套在其他元素中的数据。

这是代码：

url = 'http://www.computerstore.nl/product/470130/category-208983/asrock-z97-extreme6.html'
source_code = requests.get(url)
plain_text = source_code.text
soup = BeautifulSoup(plain_text)

a = soup.find(text=('Socket')).find_next('dd').string

print(a)

Answer 1

实际问题是单元格值并不总是Socket，有时它被制表符或空格包围。不要检查确切的text 匹配，而是传递compiled regular expression pattern：

import re

soup.find(text=re.compile('Socket')).find_next('dd').get_text(strip=True)

总是打印1150。

---

解释我使用过的“有时”这个词（感谢@carpetsmoker 在 cmets 中的最初提议）：

如果您打开页面，然后清理 cookie 并刷新页面，您可能会看到同一页面的两种不同外观：

如您所见，页面上的块排列方式不同。因此，同一个页面有两种不同的外观和 HTML 源代码 - 您看到的是 AB-testing 技术：

在营销和商业智能中，A/B 测试是 有两个变体 A 和 B 的随机实验，它们是 对照实验中的对照和处理。它是一种形式 使用两种变体的统计假设检验导致 技术术语，双样本假设检验，用于以下领域 统计数据。

换句话说，他们正在尝试产品页面并收集统计数据，例如点击率、销售数量等。

---

仅供参考，这是我目前得到的工作代码：

import re

from bs4 import BeautifulSoup
import requests

session = requests.Session()
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'}
session.get('http://www.computerstore.nl', headers=headers)

response = session.get('http://www.computerstore.nl/product/470130/category-208983/asrock-z97-extreme6.html', headers=headers)
soup = BeautifulSoup(response.content)
print(soup.find(text=re.compile('Socket')).find_next('dd').get_text(strip=True))

Answer 2

我对您的代码进行了建议更改：

url = 'http://www.computerstore.nl/product/470130/category-208983/asrock-z97-extreme6.html'
source_code = requests.get(url)
plain_text = source_code.text
soup = BeautifulSoup(plain_text)

if soup.find(text=('Socket')):
   a = soup.find(text=('Socket')).find_next('dd').string
else:
   # Display some error info, and/or do some error logging
   print "error"

print(a)

Answer 3

这意味着商店返回的数据由于某种原因不包含您寻找的元素。

在代码中添加一些适当的错误处理，以捕获异常并在中断时转储输入。这样，您可以查看下载的内容并改进代码。

第一步是：

try:
    a = soup.find(text=('Socket')).find_next('dd').string

    print(a)
except:
    print(plain_text)
    raise

如果文本很多，则将其写入文件。

将这么多操作串在一行中也很危险。如果出现问题，那么您将不知道是什么。将其拆分为几行，以便您快速查看是否可以找到Socket 或dd 元素等。