使用 BeautifulSoup 和不变的 URL 进行网页抓取

Question

我正在尝试抓取 this

    r = requests.get(url) 
    soup = BeautifulSoup(r.text , 'lxml')
    details = soup.find_all('span', {'class' : 'src'})
   details = soup.find_all('div', {'class' : 'product_contain'})
i=0
for d in details:
    print(i,d.get_text(strip=True).strip())
    i+=1

但它抓取只有一个网页。我检查了XHR，但当它更改页面时没有触发任何内容。

我还检查了 advancesearch.aspx 中的FORM DATA，但它也没有页面索引相关信息。 在页面点击事件中，我找到了ctl00$ContentPlaceHolder1$gvItem$ctl01$ctl03，但不确定如何在 URL 中使用它。

我应该使用什么 URL 来访问其他页面？

Answer 1

在这种情况下，您应该使用 Selenium，它将在浏览器中打开页面，然后您可以处理导航按钮的单击事件并每次访问刷新的 DOM。这是一个简单的代码供您参考：

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://www.google.com")

browser.find_element_by_id("lst-ib").send_keys("book")
browser.find_element_by_name("btnK").click()

Answer 2

您分享的页面 url，表明可以通过以下超链接标签访问页码：

1. 当前页面：<a class="pager currentpage">
2. 其他页面（每个）：<a class="pager">

您可以通过以下方式访问相关信息。第二行将为您提供所有页面的列表。从它们中提取"href" 属性。当您单击该按钮时，会触发一个 javascript，并且很可能会附加部分 url 以打开新页面。

soup.findall('a', _class="pager currentpage")
soup.findall('a', _class="pager")

这是其中一个按钮的文本。您需要进一步研究页面源以找出所需的 url。

<a class="pager currentpage"  
href="javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions(
&quot;ctl00$ContentPlaceHolder1$gvItem$ctl01$ctl03&quot;, 
&quot;&quot;, 
true, &quot;&quot;, 
&quot;&quot;, false, true))" 
style="display:inline-block;width:27px;">1</a>

function __doPostBack(eventTarget, eventArgument) {
    if (!theForm.onsubmit || (theForm.onsubmit() != false)) {
        theForm.__EVENTTARGET.value = eventTarget;
        theForm.__EVENTARGUMENT.value = eventArgument;
        theForm.submit();
    }
}

更好的选择

使用selenium 浏览器自动化来执行对此类 javascript 包装按钮的点击。

Answer 3

没有selenium，我也能实现。虽然代码不完整，但我们可以通过循环__EVENTTARGET

scrape所有页面

from bs4 import BeautifulSoup
import requests,json

def returnJson(wordmark):
    url = "https://classicalnumismaticgallery.com/advancesearch.aspx?auctioncode=0&pricerange=0&keyword=indore&category=&material=0&lotno=&endlotno="
    r_init = requests.get(url)
    soup = BeautifulSoup(r_init.text, 'html.parser')
    event_validation = soup.find("input", attrs={"name" : "__EVENTVALIDATION"})['value']
    view_state = soup.find("input", attrs={"name" : "__VIEWSTATE"})['value']

    pages=4
    event_target = 'ctl00$ContentPlaceHolder1$gvItem$ctl01$ctl{:>02d}'.format(pages)
    postdata = {
        'ctl00$ContentPlaceHolder1$DDLFilter' : '0',
        '__EVENTVALIDATION' : event_validation,
        '__EVENTTARGET' : event_target,
        "__VIEWSTATE" : view_state,
    }

    r = requests.post(url, data=postdata)
    return r

def scraping(r):
    description=''
    soup = BeautifulSoup(r.text, 'html.parser')
    desc = soup.find_all('div' , {'class' : 'product_contain'})
    for d in desc: 
         print(d)      


scraping(returnJson('indore'))