【问题标题】:How to use splash:mouse_press in Scrapy-Splash如何在 Scrapy-Splash 中使用 splash:mouse_press
【发布时间】:2019-07-07 03:37:10
【问题描述】:

我正在尝试单击网站上的显示按钮,但没有成功,我真的不知道该怎么做,但我遇到了一些可能有用的东西,splash:mouse_press。这是否适用于scrapy-splash,如果可以,我该如何实施?

import scrapy
from scrapy.spiders import Spider
from scrapy_splash import SplashRequest
from ..items import NameItem

class LoginSpider(scrapy.Spider):
    name = "LoginSpider"
    start_urls = ["http://www.starcitygames.com/buylist/"]

    def parse(self, response):
        return scrapy.FormRequest.from_response(
        response,
        formcss='#existing_users form',
        formdata={'ex_usr_email': 'email@example.com', 'ex_usr_pass': 'password'},
        callback=self.after_login
        )
     def after_login(self, response):
        item = NameItem()
        item["Name"] = response.css("div.bl-result-title::text").get()
        return item

【问题讨论】:

    标签: splash-js-render


    【解决方案1】:

    欢迎来到这里(: 无需将事情过度复杂化。

    您只需要GET 请求http://www.starcitygames.com/buylist/search?search-type=name&name=game 嗯...当然你可以改变参数。但无论如何,您都可以通过此链接以 json 格式获得您想要的一切。

    实际上好像连登录都不需要。

    祝你好运。

    【讨论】:

      猜你喜欢
      • 2022-01-25
      • 1970-01-01
      • 1970-01-01
      • 2019-05-28
      • 2021-12-05
      • 1970-01-01
      • 1970-01-01
      • 2017-05-27
      • 1970-01-01
      相关资源
      最近更新 更多