【发布时间】：2021-01-07 00:33:05
【问题描述】：
我有一个简单的脚本来分析 eBay 上的销售数据（棒球交易卡）。前 4 页似乎工作正常，但在第 5 页上，它根本不再加载所需的 html 内容，我无法弄清楚为什么会发生这种情况：
#Import statements
import requests
import time
from bs4 import BeautifulSoup as soup
from tqdm import tqdm
#FOR DEBUG
Page_1="https://www.ebay.com/sch/213/i.html?_from=R40&LH_Sold=1&_sop=16&_pgn=1"
#Request URL working example
source=requests.get(Page_1)
time.sleep(5)
eBay_full = soup(source.text, "lxml")
Complete_container=eBay_full.find("ul",{"class":"b-list__items_nofooter"})
Single_item=Complete_container.find_all("div",{"class":"s-item__wrapper clearfix"})
items=[]
#For all items on page perform desired operation
for i in tqdm(Single_item):
items.append(i.find("a", {"class": "s-item__link"})["href"].split('?')[0].split('/')[-1])
#Works fine for Links_to_check[0] upto Links_to_check[3]
但是，当我尝试抓取第五页或更多页时，会发生以下情况：
Page_5="https://www.ebay.com/sch/213/i.html?_from=R40&LH_Sold=1&_sop=16&_pgn=5"
source=requests.get(Page_5)
time.sleep(5)
eBay_full = soup(source.text, "lxml")
Complete_container=eBay_full.find("ul",{"class":"b-list__items_nofooter"})
Single_item=Complete_container.find_all("div",{"class":"s-item__wrapper clearfix"})
items=[]
#For all items on page perform desired operation
for i in tqdm(Single_item):
items.append(i.find("a", {"class": "s-item__link"})["href"].split('?')[0].split('/')[-1])
----> 5 Single_item=Complete_container.find_all("div",{"class":"s-item__wrapper clearfix"})
6 items=[]
7 #For all items on page perform desired operation
AttributeError: 'NoneType' object has no attribute 'find_all'
这似乎是后面页面的 eBay_full 汤中缺少 ul 类 b-list__items_nofooter 的逻辑结果。然而问题是为什么缺少这些信息？滚动浏览汤，所有感兴趣的项目似乎都不存在。正如预期的那样，该信息在网页本身上是存在的。谁能指导我？
【问题讨论】：
-
您可以考虑在使用
requests时使用header参数。网站试图保护自己免受机器人的侵害...... -
这似乎解决了问题。谢谢
标签： python html web-scraping beautifulsoup python-requests