robots.txt 中的通用规则答案

【问题标题】：Common rule in robots.txtrobots.txt 中的通用规则
【发布时间】：2012-12-13 15:57:09
【问题描述】：

如何使用robots.txt 禁止1.html, 2.html, ..., [0-9]+.html（就正则表达式而言）之类的网址？

【问题讨论】：

一般不允许，但 Google 会识别非常基本的模式。请具体说明您的具体情况，看看是否可以这样做。 robotstxt.org/robotstxt.html support.google.com/webmasters/bin/…
类似问题：stackoverflow.com/q/13355409/1591669

【解决方案1】：

原始 robots.txt 规范不支持正则表达式/通配符。但是，您可以屏蔽以下网址：

与：

User-agent: *
Disallow: /0
Disallow: /1
Disallow: /2
Disallow: /3
Disallow: /4
Disallow: /5
Disallow: /6
Disallow: /7
Disallow: /8
Disallow: /9

如果您只想阻止以单个数字开头后跟.html 的网址，只需附加.html，例如：

User-agent: *
Disallow: /0.html
Disallow: /1.html
…

但是，此不会阻止，例如，example.com/12.html

【讨论】：

但我有无限数量的此类页面:)
@Dmytro：好吧，如果 a) 他们all 以0…9 开头，并且 b) 您不希望允许任何以0...9 开头的网址。
如果您的所有 URL 都以数字结尾，后跟 .html，我添加了另一个变体。如果我的示例不适合您，您应该准确描述您想要阻止的 URL 以及您想要允许的 URL。