robots.txt 的正则表达式答案

【问题标题】：Regexp for robots.txtrobots.txt 的正则表达式
【发布时间】：2011-06-10 21:26:23
【问题描述】：

我正在尝试设置我的 robots.txt，但我不确定正则表达式。

我有四个不同的页面，都提供三种不同的语言。我想我可以使用正则表达式，而不是每页列出 3 次。

nav.aspx
page.aspx/changelang（可能附加了一个查询字符串，例如“?toLang=fr”。）
mypage.aspx?id 和
login.aspx/logoff（=12346?... 等 - 每次都不同）

！三种不同语言的全部四个，例如：

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx

现在，我的问题是：以下正则表达式是否正确？

User-Agent: *
Disallow: /*nav\.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage\.aspx?id
Disallow: /*login\.aspx\/logoff

谢谢

【问题讨论】：

【解决方案1】：

robots.txt 中不允许使用正则表达式，但 Googlebot（和其他一些机器人）可以理解一些简单的模式匹配：

您的 robots.txt 应如下所示：

User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

User-agent 指令对小写 a 有效。您不必转义 . 或 `/'。

【讨论】：