链接结构引起的网站爬取/索引问题？

Question

我正在为具有许多不同站点属性的客户做 SEO 类型的工作——这些都不是我自己构建的。特别是其中一个，我链接到here，似乎有被搜索引擎索引的问题。有趣的是，我尝试了多种站点地图生成器工具，但它们似乎也有索引站点的问题；尽管该站点仅由几个页面和外部链接组成，但站点地图工具（我怀疑搜索引擎）只能看到主页本身，而没有其他内容。

在 Google 网站管理员工具中，我看到了几个与 home/index.html 相关的抓取错误 (404)，但没有其他问题。此外，在 Google Analytics 中，超过 80% 的流量是直接流量——即不是搜索流量——这似乎令人担忧。该网站已经上线了大约一个月，并且正在通过各种渠道进行推广。即使使用域名本身搜索 Google 也不会在结果中显示主页 (!)，更不用说任何相关的关键字了。

我的最终问题是，代码是否似乎存在任何可能妨碍正确索引的明显问题。我注意到开发人员选择通过命名目录来构建导航，即链接到“home/index.html”、“team/index.html”、“about/index.html”等似乎是最佳选择命名 HTML 文件本身，即“team.html”和“about.html”。这可能是问题的一部分吗？

感谢您在这里提供任何见解。

Answer 1

这里有两个主要问题。

第一个问题是根http://www.raisetheriver.org/ 具有将页面重定向到http://www.raisetheriver.org/home/index.html 的元刷新

Google 建议不要使用元刷新，如果您想重定向页面，应该使用 301 重定向。但是我建议不要将根主页重定向到另一个页面，因为网站主页应该是根。

第二个问题是网站上的所有页面都被阻止在谷歌中被索引，因为它们的源代码中有以下代码：<meta name="robots" content="noindex"> 指示搜索引擎不要索引页面。

纠正这些问题，该网站将能够在 Google 中被编入索引，并且站点地图生成器将能够抓取该网站。

Answer 2

拥有页面的子目录对网络爬虫来说不是问题，因为即使是像亚马逊、Ebay 和许多其他网站这样的大型网站也有子目录对齐页面。

发生此错误是因为您的 sitemap.xml 或 sitemap.html 可能包含无效或损坏的链接，并且已被 Google 索引。你可以使用这个网站http://www.xml-sitemaps.com/生成站点地图，即使我正在使用它并且工作得很好。

请手动检查您的 cpanel 中的所有目录和页面是否正常工作。如果发现任何无效链接，您可以修复它。