Google URL 抓取错误 404 - 域附加到 URL 的末尾

Question

我最近在www.kernelops.com 建立并发布了我的Wordpress 网站，并将其提交给谷歌索引和网站管理员工具。今天我登录网站管理员工具，发现 60 个 URL 错误都属于同一类型的问题。基域地址www.kernelops.com 被附加到我所有的网站页面、类别和帖子 URL。失败 URL 的示例如下所示：

http://www.kernelops.com/blog/www.kernelops.com

Google 网站管理员工具表明这个奇怪的链接来自基本网址“http://www.kernelops.com/blog”，这显然意味着问题出在我身上。我的 Wordpress 永久链接设置设置为使用帖子名称；我不确定这是否会导致这种情况，即：

http://www.kernelops.com/sample-post/

我似乎无法通过谷歌搜索找到解决这个奇怪问题的任何帮助，并认为这里的某人可能能够为我指明正确的方向。

可能会影响网站 URL 的 Wordpress 插件如下：

• 一站式搜索引擎优化
• XML 站点地图

但我在这些插件中看不到任何会导致此类问题的设置。

任何想法都将不胜感激 - 在此先感谢！

Answer 1

这是一个漫长的过程，但如果 Google 抓取工具拾取一个看似相对路径的链接并尝试将其附加到当前目录，则可能会发生这种情况。 Google 极不可能出现这样的错误，但也不是不可能。

我能找到的可能被认为是相对路径的关闭是这样的：

<div class="copyright">
...
<a href="www.kernelops.com">Kernel, Inc.</a>
...
</div>

我怀疑这是问题所在，但可能值得解决。

现在，还有另一种可能性，那就是网站根据用户代理字符串提供的内容略有不同。当 Google 向您的网站提供用户代理字符串时，SEO 插件会检测到它并尝试优化事物以提高您的排名（不熟悉该插件，所以我不知道它究竟做了什么）。 SEO 插件中可能存在一个错误，导致 www.kernelops.com URL 看起来像一个相对路径，或者以某种方式实际构造了错误的 URL。

您可以通过将浏览器中的用户代理字符串（例如FireFox's user-agent switcher）设置为Googlebot's user-agent string 来测试这一点，并测试当您访问您的网站时会发生什么。查看您收到的页面来源，并查找任何可能看起来像 Google 正在找到的链接。

但是，如果 SEO 工具足够智能，它会“意识到”您的 IP 与 Googlebot 的有效 IP 之一不匹配，并且不会进行修改。