我的项目根目录中的 Robots.txt [关闭]答案

【问题标题】：Robots.txt in my project root [closed]我的项目根目录中的 Robots.txt [关闭]
【发布时间】：2013-04-23 18:25:25
【问题描述】：

我看过讨论使用 Robots.txt 的教程/文章。这仍然是必要的做法吗？我们还需要使用这种技术吗？

【问题讨论】：

【解决方案1】：

Robots.txt 文件不是必需的，但建议那些希望阻止搜索引擎爬虫抓取您网站上的少数页面或文件夹的人使用。

【讨论】：

【解决方案2】：

我同意上面的回答。 Robot.txt 文件用于阻止页面和文件夹被搜索引擎抓取。例如。您可以阻止搜索引擎抓取和索引创建的会话 ID，这在极少数情况下可能会成为安全威胁！除此之外，我认为没有太大的重要性。

【讨论】：

【解决方案3】：

最近，许多机器人抓取您的网站并对您的网页进行排名的方式也发生了变化。

我相信在短时间内使用 Robot.txt 可能会有所帮助，但是您在 SEO 方面采取的大多数其他选项不会比这个小 .txt 产生更多的积极影响文件永远不会。

反向链接也是如此，对于您获得排名来说，它们过去比现在重要得多。

【讨论】：

【解决方案4】：

Robots.txt 不用于索引。它用于阻止您不希望搜索引擎索引的内容

【讨论】：

【解决方案5】：

Robots.txt 可以帮助对大型网站进行索引，如果您使用它来显示XML sitemap file。

像这样：

Sitemap: http://www.domain.com/sitemap.xml

在 XML 文件中，您最多可以列出 50,000 个 URL 供搜索引擎索引。许多内容管理系统都有插件可以自动生成和更新这些文件。

【讨论】：