Robots.txt 不允许使用正则表达式的路径

Question

robots.txt 接受正则表达式吗？ 我有很多URLs 这种格式：

https://example.com/view/99/title-sample-text
ID ----------------------^
Title -----------------------------^

我用过这个：

Disallow: /view

但看起来这不起作用，因为google 索引了更多页面。所以我想用正则表达式来做这个，像这样：

Disallow: /view/([0-9]+)/([^/]*)

但是这种格式是否正确或在robots.txt 中有效？

Answer 1

您可以使用通配符...

User-agent: *
disallow: /view/*

见https://webmasters.stackexchange.com/questions/72722/can-we-use-regex-in-robots-txt-file-to-block-urls

希望这会有所帮助。