多个机器人元标记答案

【问题标题】：Multiple robots meta tags多个机器人元标记
【发布时间】：2017-07-13 11:12:21
【问题描述】：

我最近继承了一个代码库并发现了这个 gem：

{% if PAGE_EXTRAS.hide_from_sitemap %}
    <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
    <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
{% endif %}

我不知道它想做什么。您是否有理由在这样的网站中放置多个明显冲突的机器人标签？还是像我无知的眼睛看起来一样疯狂？

【问题讨论】：

标签： meta robots.txt

【解决方案1】：

这对我来说似乎是个错误。我能找到的唯一信息是Google's Robots meta tag specification：

如果我们的爬虫遇到竞争指令，我们将使用我们找到的最严格的指令。

所以，（至少对于谷歌来说）代码：

<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">

与以下内容完全相同：

<meta name="robots" content="noindex, nofollow">

可以想象，这段代码可能被用作某种偷偷摸摸的 hack，旨在通过利用它们解决冲突的方式的差异，将不同的规则应用于不同的爬虫。如果是这样，恕我直言，这是一个糟糕的主意。当已经有一个合法的机制来做同样的事情时，就没有必要进行凌乱脆弱的黑客攻击了：

<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">

【讨论】：

感谢您的详细回复！