Google 网站管理员工具不接受我的站点地图

Question

几天前，我为我的网站设置了 robots.txt，您可以在下面找到：

user-agent: *

Allow: /$

Disallow: /

现在我在 Google 网站管理员中提交我的站点地图时遇到了一些问题：

我们在尝试访问您的站点地图时遇到错误。请确保您的站点地图遵循我们的指南，并且可以在您提供的位置访问，然后重新提交。

我收到了这个回复，也收到了：

受 robots.txt 限制的网址

现在我可以做些什么来在网站管理员中提交我的站点地图？

Answer 1

您的 robots.txt 不允许访问除根以外的任何 URL（/，例如：http://example.com/）。因此，机器人（根据您的 robots.txt）不允许抓取您的站点地图。

您可以添加另一条Allow 行（如下所示），但一般来说，如果您禁止抓取除主页之外的所有页面，那么拥有站点地图可能毫无意义。

User-agent: *
Allow: /$
Allow: /sitemap.xml$
Disallow: /

（我删除了空行，因为它们不允许在记录中。）

请注意，您也可以link your sitemap from the robots.txt。