【发布时间】：2012-09-10 14:37:21
【问题描述】：
我正在使用 Bing Azure Web Search Api 开发一个元搜索网站。 从 2 天开始（一个月没有问题后），我面临避免接收来自恶意机器人的垃圾邮件搜索的问题。 他们没有淹没网站，他们以慢速模式查询（1 或 2 次查询/秒）。 IP 都是不同的，它们不在任何公共黑名单中，显然我不能将 captha 用于搜索界面！
如何避免这个问题？
【问题讨论】：
【发布时间】：2012-09-10 14:37:21
【问题描述】：
一个常见的技巧是在robots.txt 上设置一个禁区，然后在这个机器人陷阱中加入一些不可见的链接。人类访客不会发现它在那里，行为良好的机器人不会去那里。也许你想给偶尔的访客带来怀疑的好处，但屡犯者可能会被列入 TCP 级别的黑名单并被拒绝（或者更好的是，将他们推荐给 http://projecthoneypot.org/）
【讨论】：