使用 Scrapy 抓取网站答案

【问题标题】：Scraping websites with Scrapy使用 Scrapy 抓取网站
【发布时间】：2020-10-12 06:28:19
【问题描述】：

我有一个代码。

import scrapy
import requests



class cvbankas(scrapy.Spider):
    name ='bankas'
    allowed_domains =['cvbankas.lt']
    start_urls = ['https://www.cvbankas.lt/']

    def parse(self,response):        
        job_position_tag = response.css("h3.list_h3::text").extract()
        city_tag = response.css("span.list_city::text").extract()
        company_tag = response.css("span.dib.mt5::text").extract()
        salary_tag = response.css("span.salary_amount::text").extract()



        for item in zip(job_position_tag,city_tag,company_tag,salary_tag):
            scraped_info={
                'company':company_tag,
                'city': city_tag,
                'position': job_position_tag,
                'salary': salary_tag,
            }

            yield scraped_info
        
        next_page = response.css('li > a::attr(href)').extract_first()
        if next_page:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(url = next_page, callback = self.parse)

我不知道为什么它只刮了 3 页

Output marked in red is only 3 pages of 88

分页的问题在哪里？

【问题讨论】：

您能否将代码作为代码插入，而不是作为图像插入。为了帮助您，我们需要测试您的代码，我们不想重新键入它。
感谢您的评论。我修复了，你可以测试我的代码:)

标签： python pagination scrapy

【解决方案1】：

您的选择器找到了他能找到的第一个<a> 标记，即语言<a> 标记。您正在更改语言而不是页面。

import scrapy
import requests



class cvbankas(scrapy.Spider):
    name ='bankas'
    allowed_domains =['cvbankas.lt']
    start_urls = ['https://www.cvbankas.lt/']

    def parse(self,response):        
        job_position_tag = response.css("h3.list_h3::text").extract()
        city_tag = response.css("span.list_city::text").extract()
        company_tag = response.css("span.dib.mt5::text").extract()
        salary_tag = response.css("span.salary_amount::text").extract()



        for item in zip(job_position_tag,city_tag,company_tag,salary_tag):
            scraped_info={
                'company':company_tag,
                'city': city_tag,
                'position': job_position_tag,
                'salary': salary_tag,
            }
            yield scraped_info
            
        
        next_page = response.xpath('//a[@class="prev_next"]/@href').extract()[-1]
        if next_page:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(url = next_page, callback = self.parse)

【讨论】：

非常感谢。我从没想过可以在同一代码中使用 css 和 xpath。感谢您的帮助；）
@TomasVaitkus 如果对您有帮助，请支持我的回答。

【解决方案2】：

我看起来您正在抓取的网站使用的是 url 格式 uri?page=x 替换 x 的简单循环可以解决您的问题。

【讨论】：