当表单发布到第二个网页时，scrapy form-filling

Question

scrapy 的新手，想知道是否有人可以将我指向一个示例项目，使用 scrapy 提交到具有隐藏字段的 HTML 表单，以防表单的操作页面与表单本身呈现的地址不同。

在 Scrapy 中最简单的方法是什么？我可以看到您可以编写两个蜘蛛 - 第一个获取带有表单的 html 并选择所有隐藏字段，然后第二个使用带有隐藏字段的信息来提交表单。

我想知道是否有一个 1 步过程来代替（当 Scrapy 请求文档说使用 FormRequest.from_response 将处理隐藏字段时，它似乎假设它们都在同一页面上）。如果是这样，有人可以告诉我在哪里可以找到第一步流程的步骤吗？

Answer 1

FormRequest扩展了Request对象。因此，您可以使用FormRequest.from_response 获取包含隐藏值的formdata，如果需要，之后更改url。

演示伪代码：

class ExampleSpider(scrapy.Spider):
    name = 'example.com'
    start_urls = ['http://www.example.com/FormPage.php']

    def parse(self, response):
        request = scrapy.FormRequest.from_response(
            response,
            callback=self.parse_response_from_Form
        )
        request.replace(url='http://www.other-site.com/')
        return request

    def parse_response_from_Form(self, response):
        # go on here...
        pass