正确处理 404 File not found 请求

Question

我有一个自定义 404 页面，它有两个主要目标：

1. 记录 404 错误，这样我就可以修复损坏的链接并找到正在搜索漏洞的邪恶人员
2. 对于实际已移动的页面，使用 301 Moved Permanently 重定向到正确的位置

其他所有内容都只是重定向到主页。我遇到的问题是机器人。谷歌是最糟糕的，他们每隔几天就会不断尝试抓取不存在的页面。我什至尝试将这些页面添加为我的 robots.txt，但出于某种原因他们忽略了它。这些页面仍然出现在他们的搜索结果中！

我想正确解决这个问题，所以我正在寻找建议。请注意，这是一个付费虚拟主机，因此更改网络服务器设置可能不是一种选择。网络服务器正在运行带有 IIS 7 的 Windows。

我遇到的一些问题：

如果我检测到 Googlebot（和其他一些主要机器人）并手动发送 404 状态代码，网络服务器会捕获该代码并尝试重新执行自定义 404 页面，然后我会陷入无限循环。

如果我让页面打印一条消息，它会返回状态码 200。

Answer 1

你应该看看https://www.google.com/webmasters/

机器人试图索引的文件必须曾经存在或链接到，上面的链接谷歌会告诉你它请求了哪些页面以及其中有多少是 404。

您的 robots.txt 必须不正确，Google 才会忽略它，因为他们肯定会遵守规则，否则他们会遇到很多麻烦。

您可以使用该链接确保 Google 确实在使用最新的 robots.txt，如果有任何问题，它会通知您。

要使用 301 标签重定向，您可以简单地这样做：

Header( "HTTP/1.1 301 Moved Permanently" ); 
Header( "Location: http://website.com" );

您只需先将所有相关信息插入您的数据库。