如何防止 googlebot 抓取 Ajaxified 链接？答案

【问题标题】：How can I prevent the googlebot from crawling Ajaxified Links?如何防止 googlebot 抓取 Ajaxified 链接？
【发布时间】：2010-11-29 14:04:17
【问题描述】：

我有一堆 ajaxified 链接，可以执行投票、投票、标记帖子等标准社区审核内容。

问题在于 googlebot 会抓取这些链接，然后投票赞成、反对并标记项目。

将其添加到 robots.txt 会阻止 googlebot 抓取这些链接吗？或者我还有什么需要做的吗？

User-agent: Googlebot 
Disallow: /item/*/flag/
Disallow: /item/*/vote/

谢谢！

编辑：更改了发布方法，而 googlebot 仍在标记帖子。

语法是：

<a href="onclick="$.ajax({data:'authenticity_token=' + encodeURIComponent('blahblahblah'), dataType:'script', type:'post', url:'/item/flag/236?method=post'}); return false;">

有什么想法吗？

【问题讨论】：

标签： web-crawler robots.txt googlebot

【解决方案1】：

您应该将这些链接更改为 POST 而不是 GET，这样您就不必担心爬虫了。这样做还有其他原因：网络缓存可能决定缓存 GET，因此当用户单击链接时实际上并没有访问您的服务器。他们不会缓存 POST。

【讨论】：

+1。不要将链接用于不安全的操作。 w3.org/2001/tag/doc/whenToUseGet.html#checklist
@rafe，我编辑了上面的帖子 - 编辑：更改了发布方法，googlebot 仍在标记帖子。

【解决方案2】：

除了因具有变革性而向他们发出 POST 请求外，来宾用户（未登录的人）不应有权在社区审核中投票。因此，只需将他们排除在投票之外，就可以解决您的机器人问题。

【讨论】：