【发布时间】：2016-01-28 17:29:29
【问题描述】：
我们在我们的网站上使用以下 robots.txt：
User-agent: *
Disallow: /
我们希望保留该功能（不允许爬虫对网站的任何部分进行索引），但我们希望搜索引擎保存元标题和描述，以便当有人进入域时这些文本可以漂亮地显示出来名字进入搜索引擎。 据我所知，唯一的解决方法是创建一个只有元标记的单独的可索引页面。这是实现我们目标的唯一途径吗？会有副作用吗？
【问题讨论】：
标签： robots.txt
【发布时间】：2016-01-28 17:29:29
【问题描述】：
使用此 robots.txt，您将禁止机器人抓取您主机上的文档。机器人仍然可以索引您文档的 URL（例如，如果它们在外部站点上找到链接），但它们不能访问您的 head 元素中的元素，因此它们可以t 使用此内容在其 SERP 中提供标题或描述。
没有允许机器人访问head 但不能访问body 的标准方法。
某些搜索引擎可能会显示来自其他来源的元数据，例如，来自 Open Directory Project（您可以使用 noodp 的值来禁止此操作 meta-robots 元素）或 Yahoo Directory（您可以使用 noydir 值禁止此操作）。
如果您要创建一个仅包含 head 中的元数据的文档，并允许机器人在您的 robots.txt 中抓取它，机器人可能会抓取并索引它，但元数据当然会显示在此页面，不适用于您主机上的其他页面。
【讨论】：