使用scrapy点击网站上的按钮

Question

我想问一下如何从this site点击下一步按钮（更改网站的页码）（然后再爬到页码末尾）如何？

我尝试将 scrape 与 selenium 结合使用，但仍然出现错误并显示 "line 22 self.driver = webdriver.Firefox() ^ IndentationError: expected an indented block"

我不知道为什么会这样，我觉得我的代码很好。有人可以解决这个问题吗？

这是我的来源：

from selenium import webdriver
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from now.items import NowItem
class MySpider(BaseSpider):
name = "nowhere"
allowed_domains = ["n0where.net"]
start_urls = ["https://n0where.net/"]

def parse(self, response):
    for article in response.css('.loop-panel'):
        item = NowItem()
        item['title'] = article.css('.article-title::text').extract_first()
        item['link'] = article.css('.loop-panel>a::attr(href)').extract_first()
        item['body'] ='' .join(article.css('.excerpt p::text').extract()).strip()
        #item['date'] = article.css('[itemprop="datePublished"]::attr(content)').extract_first()
        yield item

def __init__(self):
    self.driver = webdriver.Firefox()

    def parse2(self, response):
    self.driver.get(response.url)

    while True:
        next = self.driver.find_element_by_xpath('/html/body/div[4]/div[3]/div/div/div/div/div[1]/div/div[6]/div/a[8]/span')

        try:
            next.click()

            # get the data and write it to scrapy items
        except:
            break

    self.driver.close()`

这是我对我的程序伙伴的捕获：

Answer 1

这是一个缩进错误。查看错误附近的行：

    def parse2(self, response):
    self.driver.get(response.url)

这两行的第一行以冒号结尾。所以，第二行应该比第一行缩进更多。

有两种可能的修复方法，具体取决于您要执行的操作。为第二个添加缩进级别：

    def parse2(self, response):
        self.driver.get(response.url)

或者移动parse2 function out of theinit`函数：

def parse2(self, response):
    self.driver.get(response.url)

def __init__(self):
    self.driver = webdriver.Firefox()

    # etc.

Answer 2

忽略语法和缩进错误，您的代码逻辑通常存在问题。

您所做的是创建 webdriver 并且从不使用它。你的蜘蛛在这里做的是：

1. 创建 webdriver 对象。
2. 为self.start_urls 中的每个网址安排一个请求，在您的情况下它只有一个。
3. 下载它，制作Response对象并将其传递给self.parse()
4. 您的 parse 方法似乎找到了一些 xpath 并生成了一些项目，因此 scrapy 会为您生成一些已找到的项目（如果有）
5. 完成

您的 parse2 从未被调用过，因此您的 selenium webdriver 从未被使用过。

由于在这种情况下您没有使用 scrapy 下载任何内容，您只需覆盖蜘蛛的 start_requests()(

类似：

from selenium import webdriver
import scrapy
from scrapy import Selector


class MySpider(scrapy.Spider):
    name = "nowhere"
    allowed_domains = ["n0where.net"]
    start_url = "https://n0where.net/"

    def start_requests(self):
        driver = webdriver.Firefox()
        driver.get(self.start_url)
        while True:
            next_url = driver.find_element_by_xpath(
                '/html/body/div[4]/div[3]/div/div/div/div/div[1]/div/div[6]/div/a[8]/span')
            try:
                # parse the body your webdriver has
                self.parse(driver.page_source)
                # click the button to go to next page 
                next_url.click()
            except:
                break
        driver.close()

    def parse(self, body):
        # create Selector from html string
        sel = Selector(text=body)
        # parse it
        for article in sel.css('.loop-panel'):
            item = dict()
            item['title'] = article.css('.article-title::text').extract_first()
            item['link'] = article.css('.loop-panel>a::attr(href)').extract_first()
            item['body'] = ''.join(article.css('.excerpt p::text').extract()).strip()
            # item['date'] = article.css('[itemprop="datePublished"]::attr(content)').extract_first()
            yield item