【发布时间】：2012-09-12 15:29:49
【问题描述】：
- 谷歌机器人
- msnbot
- 雅虎
- bingbot
- googlebot 图像
这就是所有的大搜索引擎蜘蛛？还是有人知道更著名的蜘蛛？
我在那里写的蜘蛛的名字是最新的吗？
谢谢！
【问题讨论】：
-
您为什么需要它？，您是否正在寻找阻止这些机器人的解决方案，有什么需要对那里的名称进行特殊处理？ .如果您详细说明，我们可以帮助您解决您的问题
-
不，我不想阻止，在我的 CMS 中，我构建了一个跟踪机器人的脚本，并对机器人在我的站点中扫描的页面进行一些报告......所以我想丰富机器人名称以在我的 CMS 中获得更好的性能。 :)
标签： search web-crawler