Selenium python：如何避免访问被拒绝答案

【问题标题】：Selenium python: How to avoid access deniedSelenium python：如何避免访问被拒绝
【发布时间】：2021-04-02 09:35:42
【问题描述】：

在抓取网站以读取那里的数据时，我试图点击一个链接。当我单击链接时，“访问被拒绝”页面打开。有没有可能跳过这个？

import scrapy
from scrapy.selector import Selector
from selenium import webdriver
from time import sleep

class GetdatagalaxusSpider(scrapy.Spider):
    name = 'getdatagalaxus'
    allowed_domains = ['www.galaxus.ch']
    start_urls = ['https://www.galaxus.ch']

    def parse(self, response):
        url = 'https://www.galaxus.ch/de/Wiki/2736'
        self.driver = webdriver.Chrome('/Applications/chromedriver')
        self.driver.get(url)
        sleep(3)
        self.driver.find_element_by_xpath('//*[@id="__next"]/div/div[2]/div[1]/aside/div[3]/div/div/div[2]/div/a').click()
        sleep(10)
        self.driver.close()

【问题讨论】：

如果您需要帮助，请添加代码错误
你想打开什么？您的定位器会打开指向不同页面的链接。

标签： python selenium scrapy

【解决方案1】：

您是否考虑过传递请求标头？

目前正在调用隐式 start_requests() 方法，但没有标头信息。

https://docs.scrapy.org/en/latest/topics/developer-tools.html?highlight=request%20headers

【讨论】：