Google在技术不断改进，以求达到部分新闻站点的需求，Google管理员中心官方博客称为Google News爬虫增加新的UserAgent标识，网站可以通过Robots.txt控制内容是否被Google news爬虫抓取，如Robots.txt：
User-agent: Googlebot
Disallow:
User-agent: Googlebot-News
Disallow: /
就表示可以被Google通用爬虫爬取，拒绝被Google News爬虫爬取,这样内容出现google网页搜索结果中，而不出现google News搜索结果中。
更详细的介绍可以参考Google管理员中心官方博客的New User Agent for News
最新相关内容：
Google Caffeine搜索结果初探
Google Caffeine结束测试 准备正式上线
Matt Cutts：Caffeine将在明年初全部上线
Google Caffeine对SEO的影响
怎么进入UI Jazz Google新的搜索界面？
将本文收藏到：