允许 robots.txt 中的某些参数

Question

我的 robots.txt 中有这个，需要留在那里：

不允许：/*?

但是，我还需要 Google 将 ?amp 在 url 末尾的页面编入索引。像这样：

www.domain.com/product-name?amp=1

有没有办法允许robots.txt中的那些，同时保留前面提到的Disallow？

Answer 1

引用 Google 的文档：

在组成员级别，特别是对于允许和禁止指令，基于 [path] 条目长度的最具体的规则胜过不太具体（较短）的规则。如果规则发生冲突，包括带有通配符的规则，则使用限制最少的规则。

这意味着如果允许 ?amp 但不允许它上面的文件夹，它应该首先遵循更具体的规则并允许 amp 页面，但不允许层次结构更高的任何内容。