我正在使用 Puppeteer 进行 Web Scraping，我刚刚注意到，由于我在计算机上进行的访问量很大，我尝试抓取的网站有时会要求提供验证码。验证码表单如下所示：
所以，我需要有关如何处理此问题的帮助。自从我使用 Express 和 EJS 将值发送到我的索引网站以来，我一直在考虑将验证码表单发送到客户端，但我不知道 Puppeteer 是否可以发送类似的东西。
有什么想法吗？
【问题讨论】：
标签： javascript web-scraping captcha puppeteer
这是一个 reCAPTCHA（第 2 版，请查看 demos here），显示给您的是页面所有者不希望您自动抓取该页面。
您的选择如下：
由于网页所有者不希望您抓取该网页，您只需尊重该决定并停止抓取即可。也许有一个记录在案的 API 可供您使用。
整个行业都有人（通常在发展中国家）为其他人的机器人填写验证码。我不会链接到任何特定站点，但您可以查看 Md 的其他答案。 Abu Taher 了解有关该主题的更多信息或搜索 captcha solver。
为此，让我解释一下 reCAPTCHA 的工作原理以及当您访问使用它的页面时会发生什么。
每个页面都有一个ID，可以通过查看源代码来检查，例如：
<div class="g-recaptcha form-field" data-sitekey="ID_OF_THE_WEBSITE_LONG_RANDOM_STRING"></div>
当 reCAPTCHA 代码被加载时，它会在表单中添加一个 response 文本区域，但没有任何值。它看起来像这样：
<textarea id="g-recaptcha-response" name="g-recaptcha-response" class="g-recaptcha-response" style="... display: none;"></textarea>
在您解决挑战后，reCAPTCHA 会在提交表单时向此文本字段添加一个很长的字符串（稍后可以由后端的 server/reCAPTCHA 服务检查）。
通过复制textarea 字段的值，您可以将“已解决的挑战”从一个浏览器转移到另一个浏览器（这也是解决服务为您提供的内容）。整个过程如下所示：
.g-recaptcha）document.querySelector('#g-recaptcha-response').value
document.querySelector('#g-recaptcha-response').value = '...'
Google 提供的公开信息并不多，reCAPTCHA 的工作原理是什么，因为这是机器人创建者和 Google 检测算法之间的猫捉老鼠游戏，但网上有一些资源提供了更多信息：
【讨论】：
您应该使用以下组合：
免责声明：请勿使用反验证插件/服务滥用资源。资源很昂贵。
基本上这个想法是使用像 (2captcha) 这样的反验证码服务来处理持久的验证码。
您可以使用 berstend 的名为 puppeteer-extra-plugin-recaptcha 的插件。
// puppeteer-extra is a drop-in replacement for puppeteer,
// it augments the installed puppeteer with plugin functionality
const puppeteer = require('puppeteer-extra')
// add recaptcha plugin and provide it your 2captcha token
// 2captcha is the builtin solution provider but others work as well.
const RecaptchaPlugin = require('puppeteer-extra-plugin-recaptcha')
puppeteer.use(
RecaptchaPlugin({
provider: { id: '2captcha', token: 'XXXXXXX' },
visualFeedback: true // colorize reCAPTCHAs (violet = detected, green = solved)
})
)
之后，您可以照常运行浏览器。它将获取页面上的任何验证码并尝试解决它。如果存在，您必须找到因站点而异的提交按钮。
// puppeteer usage as normal
puppeteer.launch({ headless: true }).then(async browser => {
const page = await browser.newPage()
await page.goto('https://www.google.com/recaptcha/api2/demo')
// That's it, a single line of code to solve reCAPTCHAs ?
await page.solveRecaptchas()
await Promise.all([
page.waitForNavigation(),
page.click(`#recaptcha-demo-submit`)
])
await page.screenshot({ path: 'response.png', fullPage: true })
await browser.close()
})
PS：
【讨论】：
可以使用代理服务器，这样目标站点就不会检测到来自单个 IP 地址的响应负载。
（翻译成谷歌翻译）
【讨论】：
我尝试了@Thomas Dondorf 的建议，但我认为“如何自己解决验证码”部分中描述的步骤的问题是验证码的令牌仅有效一次。 我将尝试在下面详细解释所有内容。
我在用什么
我使用的是第一个浏览器（不会解决验证码的那个）Google Chrome，以及第二个浏览器（我解决验证码并获取令牌的那个）Firefox。
步骤
document.querySelector('#g-recaptcha-response').value，但出现错误 (VM22:1 Uncaught TypeError: Cannot read property 'value' of null
at :1:48)，所以我只需通过在 Google Chrome 中打开 Elements 并使用 CTRL+F 搜索 g-recaptcha-response 来搜索令牌document.querySelector('#g-recaptcha-response').value = '...'，将“...”替换为刚刚复制的验证码【讨论】：