robots.txt 禁止 Google 不关注特定网址

Question

我已将 robots.txt 包含在我的应用程序的根目录中，以便告诉 Google 机器人不遵循此 http://www.test.com/example.aspx?id=x&date=10/12/2014 URL 或具有相同扩展名但查询字符串值不同的 URL .为此，我使用了以下代码：

User-agent: *
Disallow: 
Disallow: /example.aspx/

但我在网站管理员工具中发现 Google 仍在关注此页面，并且已经使用指定的扩展名搜索了许多 URL，这是查询字符串造成问题的原因吗，因为据我所知，Google 并不关心查询字符串，但以防万一。我是正确使用它还是需要做其他事情才能完成任务。

Answer 1

你的指令是错误的：

Disallow: /example.aspx/

这将阻止目录/example.aspx/ 中的所有 URL

如果你想阻止文件/example.aspx的所有URL，使用这个指令：

Disallow: /example.aspx

您可以使用 Google 网站管理员工具对其进行测试。