用 scrapy 解决 reCAPTCHA

Question

我正在使用 scrapy 抓取一些网页。但在某些时候，谷歌 reCAPTCHA 会挡道。

如果浏览器（在这种情况下为scrapy）没有运行的 javascript，Google reCAPTCHA 甚至不会加载。它只是要求您启用您的 javascript 来查看和解决 reCAPTCHA。

所以，我认为，如果我能找到一种方法在它发生时向用户显示这个 reCAPTCHA，用户可以手动解决这个问题，scrapy 会继续爬行，但我无法用真正的 javascript 中断这个过程.此时我可以使用什么？是否可以将硒与刮痧混合？

Answer 1

听起来你想要构建一些半-自动的东西。 Scrapy 对此并不好，正如你所说，它无法处理 javascript。

我建议尝试硒。它启动一个完整的 chrome 浏览器并且是可编写脚本的。见https://selenium-python.readthedocs.io/

您可以停止脚本和某些事件（例如 reCAPTCHA），然后让用户接管。