不要将 Google 搜索上的某些页面编入索引

【问题标题】：Do not index certain pages on Google Search不要将 Google 搜索上的某些页面编入索引
【发布时间】：2017-12-20 13:55:12
【问题描述】：

是否可以不对 Google 搜索中的某些页面编制索引？

我正在使用 WordPress。我听说 robots.txt 可以阻止机器人抓取您的网站，但这与索引相同吗？甚至有可能吗？

【问题讨论】：

如果您希望机器人索引这些页面，您可以在您需要的页面中添加<META NAME="ROBOTS" CONTENT="NOINDEX"> <head> 标签。
您真的需要只针对 Google 搜索的解决方案，而不影响其他搜索引擎服务吗？

【解决方案1】：

The Web Robots Pages

网络机器人（也称为网络漫游者、爬行者或蜘蛛）是自动遍历 Web 的程序。搜索引擎如谷歌使用它们来索引网络内容，垃圾邮件发送者使用它们来扫描用于电子邮件地址，它们还有许多其他用途。

从整个服务器中排除所有机器人

User-agent: *
Disallow: /

从部分服务器中排除所有机器人

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

【讨论】：