使用 .htaccess 覆盖现有的“noindex，nofollow”X-Robots-Tag 标头？

Question

我正在尝试设置 X-Robots-Tag 以允许 Googlebot 为我的网站编制索引。我没有robots.txt 文件，并且在我的任何html 文件中都没有与X-Robots-Tag 相关的任何元标记。 Apache 服务器正在返回一个标头，其中 X-Robots-Tag 设置为 "noindex, nofollow"。如何通过编辑.htaccess 文件取消设置此标签？

这是我在使用 Chrome 插件“机器人排除检查器”时得到的：

X-Robots status BLOCKED noindex,nofollow.

Date: Thu, 23 Jul 2020 20:27:46 GMT
Content-Type: text/html
Content-Length: 1272
Connection: keep-alive
Keep-Alive: timeout=30
Server: Apache/2
X-Robots-Tag: noindex, nofollow
Last-Modified: Fri, 09 Mar 2018 19:26:43 GMT
ETag: "ae0-xxxxxxxxxx-gzip"
Accept-Ranges: bytes
Vary: Accept-Encoding
Content-Encoding: gzip
Cache-Control: max-age=3600
Expires: Thu, 23 Jul 2020 21:27:46 GMT

我的.htaccess 文件的内容：

# compress text, html, javascript, css, xml:
AddOutputFilterByType DEFLATE text/plain
AddOutputFilterByType DEFLATE text/html
AddOutputFilterByType DEFLATE text/xml
AddOutputFilterByType DEFLATE text/css
AddOutputFilterByType DEFLATE application/xml
AddOutputFilterByType DEFLATE application/xhtml+xml
AddOutputFilterByType DEFLATE application/rss+xml
AddOutputFilterByType DEFLATE application/javascript
AddOutputFilterByType DEFLATE application/x-javascript

# Or, compress certain file types by extension:
<files *.html>
SetOutputFilter DEFLATE
</files>

Header onsuccess unset X-Robots-Tag
Header always set X-Robots-Tag "index,follow"

我已尝试将其添加到 .htaccess 文件的底部：

<files *.html>
Header set X-Robots-Tag "index,follow"
</files>

然后我从 Chrome 扩展程序中得到这个响应：

X-Robots BLOCKED noindex,nofollow,index,follow.

（注意它在下面的列表中出现了两次。）

Date: Thu, 23 Jul 2020 20:39:42 GMT
Content-Type: text/html
Content-Length: 1272
Connection: keep-alive
Keep-Alive: timeout=30
Server: Apache/2
X-Robots-Tag: noindex, nofollow
Last-Modified: Fri, 09 Mar 2018 19:26:43 GMT
ETag: "ae0-xxxxxxxxxxxxx-gzip"
Accept-Ranges: bytes
Vary: Accept-Encoding
Content-Encoding: gzip
Cache-Control: max-age=3600
Expires: Thu, 23 Jul 2020 21:39:42 GMT
X-Robots-Tag: index,follow

有没有办法删除原来的X-Robots-tag 标头并用新标头替换？我试过Header unset X-Robots-Tag，但不行（仍然显示“BLOCKED noindex,nofollow”）。

---

解决方案：对我有用的是包含 robots.txt 文件并确保所有超链接都以斜杠结尾。似乎没有斜杠，我得到一个 301 重定向，其中包括有问题的 noindex,nofollow 标头。

Answer 1

我的 index.html 页面非常非常简单，只有正文中的超链接指向网站的其他部分。
该网站托管在...

正如 cmets 中所述，您应该首先确定设置此标头的源，而不是尝试覆盖（或取消设置）它。这不是 Apache 默认做的事情，这个头文件必须在某处显式设置。

如果您没有设置此标头（在您的服务器端脚本或文件系统路径上的任何.htaccess 文件中 - 甚至在文档根目录上方），则必须在 vHost/server 配置中进行设置。如果您无权访问服务器配置，那么您应该联系您的虚拟主机以查看问题所在。

<files *.html>
Header set X-Robots-Tag "index,follow"
</files>

这通常会“工作”，除非之前在always 响应标头表中设置了标头。在这种情况下，您也需要这样做。例如：

Header always set X-Robots-Tag "index,follow"

您不应该需要 <Files> 包装器 - 除非您特别想针对仅映射到 *.html 文件的请求？我想在每个请求（例如图像和其他静态资源）上设置“noindex，nofollow”标头。

但是，您不需要显式设置“index,follow” - 因为这是搜索引擎执行的默认行为，无论是否设置了标头。因此，在这种情况下，您只需要 unset 标题（正如您也建议的那样），但同样，您需要使用 always 标题表（如果那是标题设置为开头）。例如：

Header always unset X-Robots-Tag

“always”表的命名可能有点误导，因为上面看起来（对于不经意的读者）标题可能 always 未设置（而不是 sometimes) - 但事实并非如此。有两个单独的响应头组/表：“always”和“onsuccess”（默认）。两者是互斥的。不同之处在于“总是”组总是应用 - 即使在错误和内部重写/子请求上也是如此。默认组不是。

参考：
https://httpd.apache.org/docs/2.4/mod/mod_headers.html#header