【发布时间】：2012-10-02 10:28:18
【问题描述】：
我需要通过 robots.txt 禁止 /variable_dir_name/directory
我用：
不允许：*/目录 无索引：*/目录
对吗？
【问题讨论】：
标签： directory robots.txt noindex
【发布时间】：2012-10-02 10:28:18
【问题描述】：
以下应该在您的 robots.txt 中起作用：
User-Agent: *
Disallow: /*/directory
来自 Google 的进一步阅读：Block or remove pages using a robots.txt file
【讨论】：
确实，GoogleBot 有机会允许在 Robots.txt 中使用这些：
- 无索引
- 不关注
- 抓取延迟
但在 GoogleBlog-News 上看到，从 2019 年 9 月起，它们将不再支持那些（0,001% 使用）命令。因此，您应该只在页面上使用元标记，以确保将来安全。
你真正应该做的是：
- 禁止通过 robots.txt 和
- Noindex 已通过 Google Search Console 为文档编制索引
【讨论】：