如何防止 Google 在 ascx 控件中从 JavaScript 形成 url答案

【问题标题】：How to prevent Google forming url's from JavaScript in ascx control如何防止 Google 在 ascx 控件中从 JavaScript 形成 url
【发布时间】：2012-04-05 09:32:35
【问题描述】：

问题是：在 .ascx 控件上，有一个简短的 Javascript 块。该脚本除其他外，引用控件中的一个方法，并为网站上的不同页面生成 DoP 元标记。

问题是，Google 爬虫读取页面中的 Javascript 并认为每个 DoP 元标记都是某种 url。这可能是因为标签中有一个正斜杠（？）。最终，谷歌对网站上大量不存在的网址进行了索引，并赋予它们 404 状态。有没有解决的办法？例如，是否可以将nofollow标签直接放在Javascript中？

<script language="javascript" type="text/javascript">
   <!-- DoP tag -->
   var v = {};
   v["sample"] = '/Product_A_';
</script>

Google 爬虫似乎从上面的脚本中索引了一个网址“http://www.my web site.com/Product_A_”。

【问题讨论】：

能否提供一些代码示例。 js 和生成的元标记。 DoP 是什么意思？
DoP = 文档路径。 --- 产品页面 --- --- 产品页面 ---
最后一条评论中的行更改搞砸了，但“/Product_A_”标签导致 Google 将其作为网址编入索引，其前面是网站基本网址。
您是否有充分的理由需要使用此脚本？它对你有什么作用？下面的答案为您提供了一种通知 Googlebot 哪些内容要索引或不索引的方法，但我认为首先了解您需要脚本的用途很重要。
@LauriI 你能用添加的代码编辑你的原始问题吗？所以它比 cmets 更容易阅读吗？

标签： javascript asp.net web-crawler

【解决方案1】：

如何设置站点地图和 robots.txt？

http://en.wikipedia.org/wiki/Sitemaps

这样，搜索引擎只会抓取站点地图中指定的内容并将其编入索引，您可以使用 robots.txt 排除无关内容，特别是如果它们都遵循特定模式。

或者在这些页面上使用元标记“nofollow”，这意味着搜索引擎不会跟踪任何额外的链接：

http://www.robotstxt.org/meta.html

【讨论】：

我们使用了站点地图和robot.txt，这些页面也有应该被索引的内容。只有脚本中的标签才应该被排除在索引之外。
那么为什么不使用 robots.txt 排除脚本中的标签呢？或者在这些页面上，NOFOLLOW 仍然索引该页面，它只是没有跟随任何链接 - 但站点地图应该注意这一点？