在 Google 身份验证后面使用 scrapy 获取页面

【问题标题】：Fetch pages with scrapy behind Google Authentication在 Google 身份验证后面使用 scrapy 获取页面
【发布时间】：2015-12-20 12:35:27
【问题描述】：

我正在尝试登录使用 Google 凭据的网站。这在我的爬虫中失败了：

def parse(self, response):
    return scrapy.FormRequest.from_response(
        response,
        formdata={'email': self.var.user, 'password': self.var.password},
        callback=self.after_login)

有什么建议吗？

【问题讨论】：

如果你能把整个源代码贴出来，错误是什么？
我设法解决了，谢谢。 :)

标签： scrapy google-authentication

【解决方案1】：

经过进一步检查，我设法解决了这个问题，似乎是一个简单的问题：

字段依次为Email 和Passwd。
将登录分为两个请求，第一个请求电子邮件，第二个请求密码。

有效的代码，如下：

def 解析（自我，响应）： """ 插入电子邮件。接下来，进入密码页面。 """ 返回 scrapy.FormRequest.from_response( 回复， formdata={'Email': self.var.user}, 回调=self.log_password) def log_password（自我，响应）： """ 输入密码以完成登录。 """ 返回 scrapy.FormRequest.from_response( 回复， formdata={'Passwd': self.var.password}, 回调=self.after_login)

【讨论】：