我应该阻止机器人*吗？

Question

本月 28 日，我们其中一个网站的带宽被严重破坏。 cpanel 只跟踪每日访问日志并且没有归档它们（现在是这样），使用 aw stats 我发现我们的机器人流量如下：

未知机器人（由“bot*”标识）91541+417 4.78 GB 2010 年 7 月 28 日 - 07:12

我已经使用 htaccess 阻止了 bot*：

RewriteCond %{HTTP_USER_AGENT} ^bot* [NC]
RewriteRule .* - [F,L]

我被告知这会干扰交通，我该怎么办？我应该等待它再次发生然后检查日志中的 IP/代理名称还是继续阻止未知机器人？

我对我拥有的 googlebot 条目进行了 dns 查找，他们签出了。

Answer 1

您应该使用Robots Exclusion Order。它可能不是垃圾邮件机器人，如果您在 robots.txt 中放置一个条目并且它仍然出现在您的网站上，那么您就会知道它是否存在。

顺便说一下，googlebot 是 google 的索引器。它将遵守 robots.txt（机器人排除顺序）。它还提供webmaster tools 以允许您配置 google 与您的网站交互的方式。

您可以为错误的机器人设置陷阱。在您的主页上创建一个不可见的链接（通过 css）。配置您的 robots.txt 以指示所有机器人忽略该链接并记录这样做的机器人。

如果您有防火墙或其他一些基础设施，请将这些 IP 地址排除在您的网站未来使用之外。