【问题标题】:Robots.txt error with google谷歌的 Robots.txt 错误
【发布时间】:2014-05-30 01:27:16
【问题描述】:

我的 Google 网站管理员工具中出现此错误,用于添加我的 sitemap.xml

受 robots.txt 限制的网址

在我的 robots.txt 我有:

User-agent: *
Allow: /$
Disallow: /

仅用于索引我的主页而不是所有网站。

【问题讨论】:

标签: php html apache web seo


【解决方案1】:

为什么你有$ 那里。以及为什么Disallow: /

User-agent: *
Allow: /$
Disallow: /

只要改成这样:

User-agent: *
Allow: /

但如果你只希望它索引实际的索引页面,那么将其更改为:

User-agent: *
Allow: /index.php
Disallow: /

或者也许这样做会改变指令的顺序:

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

最后一个示例结合了您的 robots.txt 项目,但也重新排序了它们。所以它应该像你想要的那样工作;只是索引页,没有别的。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2014-11-04
    • 1970-01-01
    • 2016-03-12
    • 1970-01-01
    • 2016-05-09
    • 1970-01-01
    • 1970-01-01
    • 2018-01-23
    相关资源
    最近更新 更多