如何使用 chrome webdriver 无法检测到？

Question

我已经在 Stackoverflow 上看到了多篇关于此的帖子。但是，有些答案已经过时（例如使用 PhantomJS），而其他答案对我不起作用。

我正在使用 selenium 抓取一些体育网站的数据。但是，每次我尝试抓取这些网站时，其中一些都会阻止我，因为他们知道我正在使用 chromedriver。我根本不会发送很多请求，而且我也在使用 VPN。我知道问题出在 chromedriver 上，因为每当我停止运行代码但尝试在 chromedriver 上打开这些站点时，我仍然被阻止。但是，当我在我的默认网络浏览器中打开它们时，我可以很好地访问它们。

所以，我想知道是否有人对在使用 selenium 抓取这些网站时如何避免被这些网站屏蔽有任何建议。我已经尝试过更改 chromedriver 中的 '$cdc...' 变量，但这没有用。我将不胜感激任何想法，谢谢！

Answer 1

显然，他们可以告诉您没有使用通用浏览器。会不会和用户代理有关？

尝试使用 Postman 之类的工具。看看有什么反应。尝试弄乱用户代理和其他请求字段。当您使用常规浏览器（如 chrome）访问该站点时，请查看请求标头并尝试对其进行欺骗。

编辑：刚刚记住这一点，并意识到页面可能正在执行一些 JS 和诸如此类的检查。当您使用常规浏览器在网站上阻止 JS 时会发生什么，值得研究一下。