如何让 Mixnode Crawler 爬得更慢？答案

【问题标题】：How do I make the Mixnode Crawler to crawl slower?如何让 Mixnode Crawler 爬得更慢？
【发布时间】：2017-04-12 22:24:09
【问题描述】：

我们的页面速度超过了 2000 万页/小时，我真的很欣赏这种速度；但是我担心我可能对目标网站施加了太大的压力，有什么办法可以降低网站的抓取速度？

【问题讨论】：

网页显示：“Mixnode 运行速度极快，同时保持完全礼貌。它遵循 robots.txt 指令并限制每个网站和 IP 地址的请求，以防止对 Web 服务器造成过度压力。”所以也许没有问题？
这是来自网站的重要信息：“发送到同一网站的请求之间有 10 秒的最小延迟。 如果网站的 robots.txt 指令需要更长的延迟，Mixnode 将遵循 robots.txt 指令指定的延迟持续时间。"

【解决方案1】：

不知道您为什么要降低速度，因为documentation 明确指出：

发送到同一网站的请求之间存在至少 10 秒的延迟。如果网站的 robots.txt 指令需要更长的延迟，Mixnode 将遵循 robots.txt 指令指定的延迟时间。

【讨论】：