【发布时间】:2014-05-30 01:27:16
【问题描述】:
我的 Google 网站管理员工具中出现此错误,用于添加我的 sitemap.xml
受 robots.txt 限制的网址
在我的 robots.txt 我有:
User-agent: *
Allow: /$
Disallow: /
仅用于索引我的主页而不是所有网站。
【问题讨论】:
我的 Google 网站管理员工具中出现此错误,用于添加我的 sitemap.xml
受 robots.txt 限制的网址
在我的 robots.txt 我有:
User-agent: *
Allow: /$
Disallow: /
仅用于索引我的主页而不是所有网站。
【问题讨论】:
为什么你有$ 那里。以及为什么Disallow: /:
User-agent: *
Allow: /$
Disallow: /
只要改成这样:
User-agent: *
Allow: /
但如果你只希望它索引实际的索引页面,那么将其更改为:
User-agent: *
Allow: /index.php
Disallow: /
或者也许这样做会改变指令的顺序:
User-agent: *
Disallow: /
Allow: /index.php
Allow: /$
最后一个示例结合了您的 robots.txt 项目,但也重新排序了它们。所以它应该像你想要的那样工作;只是索引页,没有别的。
【讨论】: