Python selenium 防止网站阻塞

Question

我并没有真正的计划，只是想弄清楚如何才能防止网站知道我反复访问它们。

我不知道如何使用 selenium，这就是为什么要反复尝试 - 突然网站阻止了我。我打开了 protonvpn（免费），但它仍然不允许我进入那个网站。我读到了关于 chrome 和 Proxies 上的假用户代理以及所有这些东西，但关键是什么？在第二次进入之前我需要做什么，这样就不会再有人知道是我了？

更改我的 IP 地址就足够了吗？这是要走的路吗？我没有找到合适的与 python 相关的答案

Answer 1

这里的问题听起来像两个方面：

1. 许多网站都有用户代理检测方法，可以识别自动化工具，例如 Selenium。

2. 快速执行针对网站的操作通常会触发机器人检测工具，而且也是不明智的做法。通常对于抓取网站，如果您不确定使用了哪种反僵尸程序或反垃圾邮件系统，您希望将抓取工具配置为具有类似人类的操作执行时间。

最好的办法是检查 selenium 用户代理并将其配置为其他 as per this post here。