将网络爬虫伪装成真实客户的技术？

【问题标题】：Techniques to masquerade a web scraper as a real client?将网络爬虫伪装成真实客户的技术？
【发布时间】：2013-05-05 22:33:31
【问题描述】：

我正在编写一个小型实验应用程序，它需要从多个网站上抓取数据。

目前，我在后续请求和使用多个用户代理字符串之间添加了随机延迟（2-20 秒）。 还有什么办法可以帮助网络爬虫规避检测？

例如，设置referrer 或x-forwarded-for 标头是否有任何优势。

【问题讨论】：

【解决方案1】：

也许使用tor 并更改其频率以更频繁地更新 IP 地址？

【讨论】：

我曾考虑过将它分发到多个 ip，但我不确定它是否值得付出努力，我可能仍然会看到一些 ip 被禁止。我曾以为大型站点会看到来自使用 NAT 的单个 ip 的大量请求。这是我真正考虑模拟的行为。