使用 robots.txt 的正确方法是什么答案

【问题标题】：Whats the correct way to use robots.txt使用 robots.txt 的正确方法是什么
【发布时间】：2014-01-24 03:53:45
【问题描述】：

我正在尝试让 robots.txt 工作，以便搜索引擎开始索引我的网站并显示描述等元信息。

但是我收到了这条消息：

A description for this result is not available because of this site's robots.txt – learn more.

这是我的 robots.txt 的样子。

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
User-agent: *
Disallow: /tags/*
Disallow: /users/*

我需要改变什么。

这是一个托管在 heroku 上的 Rails4 应用程序，位于 Rails 存储库的公共目录中

【问题讨论】：

这个问题似乎是题外话，因为它是关于 SEO
@JohnConde 不确定你的意思。需要您编写代码并让 Web 应用程序正常运行的 SEO 应该是 stackoverflow 问题。事实上，大量使用新应用并获得增长的工作都涉及增长黑客。
@JohnConde 这个问题是关于 robots.txt 的，针对特定问题，并且已正确标记。我觉得没问题。
询问搜索引擎将如何显示/排名/解析您的网站是题外话
stackoverflow 上有一个 SEO 标签，它有 4K+ 订阅者。我也没有问搜索引擎将如何显示/排名/解析任何网站，尽管它也应该是一个有效的问题来了解搜索引擎如何做到这一点。可能是问题的措辞不正确，如果有建议，我很乐意更改。我很惊讶 SEO 在 SO 上被视为二等公民。

标签： ruby-on-rails web seo robots.txt

【解决方案1】：

首先，使用 robots.txt 文件不是必须的！如果您不希望搜索引擎抓取您网站的特定页面或目录，则只需要使用它们。

在您的情况下，您限制搜索引擎抓取根目录上托管的标签和用户目录。现在，该目录内的任何页面都会出现此错误。

我还建议使用 Google 网站管理员工具并验证您的网站。您可以从那里测试 Robots.txt 文件。

【讨论】：

【解决方案2】：

尝试删除一些星号：

User-agent: *
Disallow: /tags/
Disallow: /users/

同时，为您的站点地图提供位置也可能会有所帮助：

Sitemap: www.yoursite.com/sitemap.xml

【讨论】：

感谢@Vidya 的回复。我会试试看。一些网站使用星号 airbnb.com/robots.txt , quora.com/robots.txt 感谢提及 sitemap.xml 。我会阅读更多相关信息。