棘手的搜索引擎问题：搜索引擎无法在我的网站中找到页面

Question

我绞尽脑汁想解决这个问题，但没有运气！所以我的SO伙计们，帮帮我吧！

五天前，我们在网站上创建了一个页面，一切都照常进行。（意味着我们使用模板来创建页面。） 问题是，即使 Google 和 Bing 抓取了我的网站（即主页，其中列出了新页面的 URL），我也没有在任何搜索引擎中找到我的页面。

以下是我到目前为止所采取的步骤。

1。我前两天把页面的RUL提交给了几个主要的搜索引擎，至今没有帮助。

2。我检查了所有代码，没有发现任何错误，也没有抓取或索引robot.txt。

3。我昨天检查了谷歌网站管理员工具，并且喜欢谷歌试图抓取页面超过 40 次，但它总是得到 404 错误。然后我检查了谷歌访问该页面的所有 URL，它们都是有效且可访问的。

那么，真正的问题或可能的问题是什么？我该如何解决？

另外：通常，Google 会在两天内为我们网站的新页面编制索引。

Answer 1

Google 可能需要一段时间来为新页面编制索引，尤其是当该网站在 Google 眼中不受欢迎或不重要时。所以至少给它一个月的时间来确定。

需要检查的一些事项：

• 该页面未被 robots.txt 或 noindex 元标记阻止。 抱歉，您说您已经检查过这个...
• 您至少有一个指向该页面的链接。它必须是与 <a href... 的直接链接，而不是 Javascript/Flash。
• 您的服务器没有阻止任何 IP。可能是 Google 访问太频繁而被列入黑名单？

要加快抓取速度，请尝试以下方法：

• 获取更多指向新页面和主页的链接。如果 Google 认为该网站更重要，则会更快地抓取您。
• 定期更新网站（例如主页上的新闻）。
• 在Google Webmaster Tools 注册并提交包含所有页面的 XML 站点地图。
• 在 GWT 中还有一个选项可以提高爬行速度。这适用于大型网站或当您添加了许多新页面时，因此可能没有什么不同。

Answer 2

在您的浏览器中打开该新网址，然后检查您主页中的网址。 然后检查您是否没有使用任何 URL 引用程序以避免站点访问。检查会员问题。