为什么雅虎索引机器人被认为是“邪恶的”？

Question

看完PHP Library for Keeping your site index by Google, Bing, etc这个问题并发表评论后，我好奇地看StackOverFlow的sitemap。这返回了一个 404 错误，我猜这只是一个受保护的页面，通过确定您是索引机器人还是根本不存在。

然后这导致我查看 StackOverFlow 的 robots.txt。我很惊讶地看到评论“雅虎机器人是邪恶的”以及其他几个索引机器人（Spinn3r 和 KSCrawler）。我不熟悉 Spinn3r 和 KSCrawler，但我的问题是，为什么这些机器人（尤其是雅虎）被认为是邪恶的？确定任何搜索引擎的所有索引都是一件好事吗？

Answer 1

这些是非常具有攻击性的机器人，它们不会限制请求并且会导致网站宕机。

请参阅this 论坛帖子以获取 yahoo 机器人的示例。