noindex 标签是否会阻止机器人抓取页面上的链接？

【问题标题】：Does the noindex tag prevent bots from crawling the links on the page?noindex 标签是否会阻止机器人抓取页面上的链接？
【发布时间】：2016-06-14 02:31:03
【问题描述】：

如果我有一个带有 noindex 标记 <meta name="robots" content="noindex" /> 的页面，我知道该页面不会显示在搜索结果中。

但是页面上的链接还会被抓取吗？

如果我想让它们被抓取，我可以设置<meta name="robots" content="noindex, follow" /> 之类的东西吗？它会起作用吗？

【问题讨论】：

跟随是默认的。你不需要指定它。

标签： seo meta-tags nofollow noindex

【解决方案1】：

noindex 标签<meta name="robots" content="noindex" /> 用于防止大多数搜索引擎网络爬虫将您网站上的页面编入索引。

爬虫不会使用content="noindex, follow"标签对页面进行索引，而是会爬取其余页面。

您可以在此处找到更多详细信息：http://www.robotstxt.org/meta.html

【讨论】：

您的链接已失效
我已更改链接。您现在可以查看。