【发布时间】：2014-02-21 01:27:57
【问题描述】：
我需要问一些关于 geliyoobot 的问题，在我的网站第一次出现站点地图中，在出现机器人之后，我在 5 月的网址中看到了请帮我看看这个机器人是什么？
【问题讨论】：
标签： web-crawler
【发布时间】：2014-02-21 01:27:57
【问题描述】：
http://en.wikipedia.org/wiki/Geliyoo#Search_Engine
Geliyoo Search 是一个网络搜索引擎，是该公司最受欢迎的服务。 Geliyoo还开发了自己的搜索引擎爬虫Geliyoo Spider。 (GeliyooBot/1.0)，这是第一个土耳其搜索引擎机器人，GeliyooBot/1.0，创建用于为 Geliyoo 搜索引擎构建可搜索索引。它使网站管理员能够通过使用 robots.txt 文件中的适当命令，或通过将元标记添加到网页，来限制 GeliyooBot 或其他行为良好的蜘蛛可用的网站上的信息。 Geliyoo Spider 对 Web 服务器的请求可通过包含“GeliyooBot”的用户代理字符串和包含“geliyoo.com”的主机地址来识别。
【讨论】：