【发布时间】：2019-11-04 11:19:55
【问题描述】：
我正在写一个scrapy-splash程序，我需要点击网页上的显示按钮，如下图所示，为了显示数据，第10版，所以我可以抓取它。我有我在下面尝试过的代码，但它不起作用。只有单击显示按钮才能访问我需要的信息。 更新：仍在为此苦苦挣扎，我必须相信有办法做到这一点。我不想抓取 JSON，因为这对网站所有者来说可能是一个危险信号。
import scrapy
from ..items import NameItem
class LoginSpider(scrapy.Spider):
name = "LoginSpider"
start_urls = ["http://www.starcitygames.com/buylist/"]
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formcss='#existing_users form',
formdata={'ex_usr_email': 'email123@example.com', 'ex_usr_pass': 'password123'},
callback=self.after_login
)
def after_login(self, response):
item = NameItem()
display_button= response.xpath('//a[contains(., "- Display>>")]/@href').get()
response.follow(display_button, self.parse)
item["Name"] = response.css("div.bl-result-title::text").get()
return item
【问题讨论】：
标签： python scrapy scrapy-splash splash-js-render