【发布时间】：2021-05-17 16:36:08
【问题描述】：
我有一个使用 Astra 主题的 Wordpress 网站。在 Chrome 的 Lighthouse 标签中，它指出：
Page is blocked from indexing
Blocking Directive Source
x-robots-tag: noindex, nofollow
但是：
- 在 Wordpress（设置 > 阅读）中，未选中“搜索引擎可见性：阻止搜索引擎将此网站编入索引”框
- 网站的源代码中不包含“x-robots”、“noindex”或“nofollow”等文字。
有谁知道为什么页面被阻止编入索引？
更新：
-
我检查了网络选项卡，并在响应标题下显示
x-robots-tag: noindex, nofollow。 -
我查看了页面的源代码以检查元标记，但其中没有关于
x-robots、noindex或nofollow的信息。 -
文件 robots.txt 包含以下内容：
用户代理：*
禁止：/wp-admin/
允许：/wp-admin/admin-ajax.php
如何使 Wordpress 网站不被阻止索引？
【问题讨论】：
-
您是否检查过标头未发送
X-Robots-Tag: noindex？只需打开网络选项卡上的开发工具并查看实际的页面请求，您是否看到它设置在标题下？此外，上面的警告涵盖了您的 robots.txt 阻止该网站，因此请检查您的元标记阻止机器人，因此请检查您的元标记。这有点令人困惑，因为这是所有可能被阻止的方式的警告。 -
谢谢，1) 我检查了网络选项卡，并在响应标题下显示
x-robots-tag: noindex, nofollow。 2）我在帖子中添加了robots.txt的内容。 3) 我查看了页面的源代码来检查元标记，但里面没有关于x-robots、noindex或nofollow的内容。知道如何解决这个问题吗？ -
假设您可以通过 FTP 访问您的服务器，我猜您的
.htaccess需要调整。打开您的.htaccess文件并查找Header set X-Robots-Tag...并删除该行（首先备份您的.htaccess，以防万一！）。如果您没有看到，那么唯一可以设置它的方法是通过 PHP 标头，因此在所有站点文件中搜索header("X-Robots-Tag:（如果您的搜索区分大小写，您可能会错过它）。 -
我确实有 FTP 访问权限，但我不明白为什么在安装干净的 Wordpress 时会出现这种情况？因为这意味着任何新安装的 Wordpress 网站都不会自动编入索引，我怀疑这不是真的。我敢肯定有很多使用 Wordpress 的人，他们从未使用过 FTP，因此无法改变这一点。将网站排除在索引之外确实是 Wordpress 的默认设置...并且 Wordpress 中没有设置来更改此设置...？
-
如果你有，你也可以检查你的 nginx 配置。我不小心在我的服务器块中有
add_header X-Robots-Tag none;，Google 将其解释为“noindex”
标签： php wordpress http-headers seo lighthouse