【发布时间】:2015-06-29 22:14:30
【问题描述】:
是否可以在每次访问网页时自动从需要验证码的网站抓取数据?例如网站向您显示代码图片并要求您输入图片中显示的内容的情况。我正在使用 rvest 包。这可以吗?
【问题讨论】:
-
这些被称为验证码,它们可以阻止这种访问。我假设如果所有者想要允许机器人,他们会删除验证码或提供 API。
标签: r web-scraping
是否可以在每次访问网页时自动从需要验证码的网站抓取数据?例如网站向您显示代码图片并要求您输入图片中显示的内容的情况。我正在使用 rvest 包。这可以吗?
【问题讨论】:
标签: r web-scraping
您要做的是击败 CAPTCHA。这是可能的,但非常困难。这是垃圾邮件发送者最难的工作——想出一个足够聪明的算法来正确填写这些字段。这不是您应该做的事情,这些验证码的全部目的是防止非人类访问。如果你足够聪明并且有足够的动力去弄清楚如何以编程方式回答这些问题,那么你可能会比你想做的事情赚更多的钱:)
一些网站提供直接 API,这是您应该与他们的数据交互的方式。但是通过抓取来通过验证码并不是一件容易的事。
【讨论】: