谷歌的网页抓取机器人，类似于中国的Baiduspider（百度蜘蛛）
Googlebot 和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。
Googlebot指的是Google的机器人，或蜘蛛。一般Google会让不同的Googlebot来对你的网页内容进行处理，其中包括：
1， 抓取文字内容，获取内容来保存于Google网页网页中的文字内容，用于为Google AdWords 提供参考。只有Google AdWords 的目标网页才会被 Adsbot-Google 探测器爬取。