在scrapy / python中单击html表单按钮到下一页

Question

我在 scrapy 中编写了一个爬虫程序来从网站中提取数据。我有一个具有类似结构的 html 表的链接列表，到目前为止，这些表的提取工作正常。现在的问题是其中一些表运行在多个页面上，即如果数据集超过 30 行，它就会被拆分。大多数表格只有一页，但有些表格要长得多，最多有 70 页。通过按 html 表单形式的“下一页”按钮可以到达下一页。我希望蜘蛛去每个表，从第一页提取数据，然后继续到第二、第三页等，直到不再有“下一步”按钮，然后继续下一个原始 url。

我知道我需要的可能是 form_request 命令，但我对这些东西很陌生，而且我在网上找到的所有示例的结构都略有不同，因此我们将不胜感激。

这是我提取每个表的第一页的代码。

from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
from example.items import exitem
from scrapy.http import FormRequest

class MySpider(BaseSpider):
    name = "example"

    with open('linklist.txt') as f:
        start_urls = f.readlines()

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        main = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[1]/td[1]/table")
        titles = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[2]/td/table/tr")
        items = []
        for titles in titles:
            item = exitem()
            item["pid"] = titles.xpath("td[2]/font/text()").extract()
            item["famname"] = titles.xpath("td[3]/font/b/text()").extract()
            item["firstname"] = titles.xpath("td[4]/font/text()").extract()
            item["sex"] = titles.xpath("td[5]/font/text()").extract()
            item["age"] = titles.xpath("td[6]/font/text()").extract()
            item["famstat"] = titles.xpath("td[7]/font/text()").extract()
            item["res"] = titles.xpath("td[8]/font/text()").extract()
            item["nation"] = titles.xpath("td[9]/font/text()").extract()
            item["state"] = titles.xpath("td[10]/font/text()").extract()
            item["job"] = titles.xpath("td[11]/font/text()").extract()
        return(items)

这是网站上的表格：

<form action="http://example.com/listen.php" method="get">
    <input type="submit" value="next sheet" name="">
    <input type="hidden" value="1234567" name="ArchivIdent">
    <input type="hidden" value="31" name="start">
</form>

第二页的“开始”值是 31，第三页是 61，第四页是 91，以此类推

Answer 1

from selenium import web driver  
driver = webdriver.Firefox()
driver.get("your page")
try:  
  driver.findElement(By.xpath("//*[@type='submit'][@value='next']")).click() 
except:
  pass
continue with your program 

一旦没有找到按钮，它将退出尝试。然后继续您的程序

希望这会有所帮助。