robots.txt 的正确通配符禁止

Question

我试图禁止特定页面及其参数以及整个站点上的参数。下面我有确切的例子。

我们现在有一个可以重定向和跟踪外部 URL 的页面。我们要跟踪的任何外部 URL 都将像 /redirect?u=http://example.com 这样链接我们不想在每个链接中添加 rel="nofollow"。

最后但并非最不重要的（我们最大的 seo 和索引问题）是每个页面都有一个自动生成的 URL 来禁用或启用移动设备。所以它可以在任何页面上，如/?mobileVersion=off（或on）或/accounts?login_to=%2Fdashboard&mobileVersion=off

基本上，禁止这两个参数的简单方法是禁止任何页面上的mobileVersion 和u。 （u是重定向URL需要的参数，只对/redirect有效）

我当前的robots.txt 配置：

User-Agent: *
Disallow: /redirect
Disallow: / *?*mobileVersion=off

如果您想查看我们的完整 robots.txt 文件，请访问 http://spicethymeinc.com/robots.txt。

Answer 1

你可以改变

Disallow: / *?*mobileVersion=off

到

Disallow: /*mobileVersion=off

但它看起来应该可以工作。

我将不再使用此页面上的通配符部分和示例： http://tools.seobook.com/robots-txt/

编辑：我已经用 googlebot 和 googlebot mobile 进行了测试。您当前的 robots.txt 和我建议的更改都阻止了它们。 Google webmaster tools 有一个方便的机器人检查器，您可以使用它进行测试。