如何在脚本标签中使用nofollow链接[重复]答案

【问题标题】：How to use nofollow link in script tag [duplicate]如何在脚本标签中使用nofollow链接[重复]
【发布时间】：2017-11-17 09:02:06
【问题描述】：

这是我的脚本代码：

<script type="text/javascript" src="//example.com/js/infolinks_main.js"></script>

我想让爬虫不关注或索引example.com/js/infolinks_main.js。

我怎样才能完成这项任务？我的根目录中有 robots.txt，但该 URL 是外部 URL。

注意：我不想使用iframe。

【问题讨论】：

【解决方案1】：

script 元素不能有rel 属性，所以不能使用nofollow。即使可以使用，请注意nofollow is not about disallowing bots to crawl/index the URL。

要禁止抓取脚本，您必须使用 robots.txt：

User-agent: *
Disallow: /js/infolinks_main.js

或者，如果您想禁止抓取所有脚本：

User-agent: *
Disallow: /js/

您必须使用托管脚本的主机的 robots.txt 文件。它不一定是托管 HTML 文档的主机。

（请注意，这不会禁止索引脚本。如果你想禁止索引，you can use the X-Robots-Tag header 带有noindex 值，但你必须允许抓取。因为脚本是通常不被通用搜索引擎索引，您可能希望阻止抓取，而不是索引。）

【讨论】：

如何将脚本移动到另一个 html 文件并将 nofollow 添加到其标题中。然后将文件嵌入到 iframe 上？这会使外部 html nofollow 上的所有链接吗？
@MichaelRogers：这会影响iframe 文档中的链接。但它与这个iframe 文档中的script 无关。
是的，我后来意识到并禁止在机器人上使用它。它不会呈现给谷歌，我希望他们不要为此生气。他们对处罚非常严格。

【解决方案2】：

rel=nofollow 仅适用于超链接，没有必要将其添加到任何其他类型的元素。

如果您的脚本创建了链接，您可以编辑脚本以确保它们使用 rel=nofollow 属性这样做；但鉴于 google bot 在阅读页面时不执行脚本，这样做没有任何意义。

【讨论】：

机器人不执行脚本是正确的，但他也会阅读它们。因此，如果有一些文本被机器人识别为 url，他会尝试对它们进行索引。禁止他这样做的唯一方法是使用 robots.txt。