我一直阻止谷歌使用 robots.txt 文件为我的网站编制索引。最近我读了一篇来自谷歌员工的文章，他说你应该使用元标记来做到这一点。这是否意味着 Robots.txt 不起作用？由于我正在使用 CMS，因此我的选择非常有限，并且仅使用 robots.txt 文件就容易多了。我的问题是，如果我继续使用 robots.txt 文件而不是元标记，可能发生的最坏情况是什么。
【问题讨论】：
标签： robots.txt noindex
这就是简单的区别：
robots.txt 文件控制抓取。它指示正在寻找要爬行的页面的机器人（又名蜘蛛）“避开”某些地方。您将此文件放在您网站的根目录中。
noindex 标签控制索引。它告诉蜘蛛该页面不应该被索引。您将此标签放置在相关网页的代码中。
当您想要在目录级别或整个站点进行控制时，请使用 robots.txt 文件。但是，请记住，机器人不需要遵循这些指令。大多数都会，例如 Googlebot，但将任何高度敏感的信息保留在网站的可公开访问区域之外会更安全。
与 robots.txt 文件一样，noindex 标记将从搜索结果中排除页面。该页面仍会被抓取，但不会被编入索引。如果您想在单个页面级别进行控制，请使用这些标签。
关于抓取和索引之间的区别：抓取（通过蜘蛛）是搜索引擎的蜘蛛如何跟踪您的网站；爬取的结果进入搜索引擎的索引。将此信息存储在索引中可加快相关搜索结果的返回速度——而不是扫描与搜索相关的每个页面，而是搜索索引（较小的数据库）以优化速度。
如果没有索引，搜索引擎会查看存在的与搜索词相关的每一个数据或信息，我们都有时间在等待搜索结果的同时制作和吃几个三明治显示。该索引使用蜘蛛来保持其数据库是最新的。
这是一个标签的例子：
<meta name="robots" content="noindex,follow"/>
既然您已经阅读并理解了以上信息，我认为您可以自己回答您的问题了;)
【讨论】：
确实，有 GoogleBot 的机会允许使用：
但在 GoogleBlog-News 上看到，从 2019 年 9 月起，它们将不再支持那些（0,001% 使用）命令。因此，您应该只在页面上使用元标记，以确保将来安全。
【讨论】：