让爬虫机器人看起来更像人类的方法

Question

由于我用于搜索某些产品的网站的 API 限制，我必须对其产品页面进行 html 抓取。没有其他办法，因为它只提供有限制的免费 API。我只需要它的 API 返回的 10 或 100 倍以上的项目，这意味着即使我调用它 5 次，它也会返回与调用 1 次相同的一组产品。

我不需要在短时间内抓取大量页面。通常，抓取机器人会在几分钟内抓取所有数据。对我来说几个小时是可以接受的，所以我的爬虫可以更像一个人。

问题是：有什么方法可以让我的爬虫看起来像普通用户？

1. 首先，在短时间内减少拨打电话。
2. 可以使用无头浏览器吗？
3. 使用VPN？或代理？还是两者兼有？

什么是其他指针？

注意：在我的情况下，抓取是实现我想要的唯一方法，因为 API 不起作用。所以毫无疑问我应该使用 API 还是抓取。我只能使用抓取。

Answer 1

您基本上是朝着正确的方向前进。

如果if call it 5 times, it'll return the same set of the products as if it were 1 call. API 应该能够让用户访问所有可能的数据（尽管有频率限制），我怀疑你并没有真正掌握 API（或者这是一个奇怪的 API）。

您询问的项目：

1. 在短时间内减少通话次数。 - 确实如此，但您仍然应该清楚某些站点可接受的请求频率（未被检测到，也没有带宽限制）。
2. 使用无头浏览器。 - 是的。放弃 cookie，保持匿名。
3. 使用VPN？或代理？ - 代理 是的，使用适当的代理服务，它可以为您提供足够的灵活性而不会被检测到。 VPN 无济于事，因为网络节点（您从中抓取）的数量有限并且具有静态 IP（基本上）。

我认为this post 可能会对您有所帮助。