真正不存在的 404 处理程序和动态页面......对 SEO 不利？

Question

我们有一个 IIS 404 asp.net 处理程序，它在找不到 html 页面时呈现页面。它使用页面的 URL 来查询我们的数据库并动态构建丰富的相关内容。从我在 IIS 日志中可以看出并从 Web 浏览器工具分析页面，没有任何迹象表明该页面实际上并不存在并且是动态生成的。

在这些情况下，IIS 实际上是向客户端发送 404 吗？是否有任何类型的重定向实际发生？搜索引擎会因此惩罚我吗？

已经 2 个月了，Google 已将所有内容编入索引，但 Bing 和 Yahoo 尚未将任何动态内容编入索引，尽管我使用我的所有链接提交了各种目录页面、站点地图和供稿。我的主页在所有搜索引擎上都有索引，并且有我的所有链接。当我在这些链接中搜索非常独特的关键字时，我可以看到 bing 和 yahoo 确实在我的主页链接上看到了它们 - 但仅限于那里。

有什么我可以运行或检查以确保我的动态页面不会被搜索引擎视为不好的吗？有什么方法可以检查 404（无论 404 实际上是对客户端的什么，除了只是另一个页面）是否返回给爬虫？

非常感谢。

Answer 1

有什么我可以运行或检查以确保我的动态页面是 不被搜索引擎认为是糟糕的？

动态页面很好。 Internet 上的大部分内容都是动态生成的。搜索引擎不关心内容是否是动态的，事实上，他们通常不知道内容是动态的，因为他们只看到 URL 和由该 URL 生成的 HTML。

检查 404 是否是 404 的任何方法（无论 404 对客户来说实际上是什么 除了只是另一个页面）返回给爬虫？

使用 Firebug 之类的工具或 Chrome 中的内置开发人员工具来查看您的 HTTP 标头。爬虫会看到与浏览器相同的标头，因此这是一种简单的方法来判断您的页面发送了哪些标头。