指向本地站点地图的机器人文本文件

【问题标题】：robotext file pointing to a local sitemap指向本地站点地图的机器人文本文件
【发布时间】：2011-11-06 22:01:57
【问题描述】：

在robots.txt 文件中，是否可以使用相对路径而不是绝对路径来指出站点地图？

Sitemap: http://www.example.com/sitemap.xml

改为：

Sitemap: sitemap.xml

Curiose note SO robots.txt

#
# this technically isn't valid, since for some godforsaken reason 
# sitemap paths must be ABSOLUTE and not relative. 
#
Sitemap: /sitemap.xml

【问题讨论】：

【解决方案1】：

The official sitemap documentation 在其示例中显示了一个完整的 URL，其中包含对 XML 站点地图位置的引用。

Sitemap: http://www.example.com/sitemap-host1.xml

但是，它没有指定是否必须使用完整的 URL 或绝对路径。 StackOverflow robots.txt 暗示需要绝对路径，并且在使用相对路径时会出现问题。因此，如果您想确保搜索引擎找到您的站点地图，最好使用完整的 URL 或绝对路径。由于这很容易做到，我看不出有什么理由应该使用亲戚。

【讨论】：

感谢约翰的回答。我的问题的原因是：我使用可用于许多网站的自定义 CMS。我需要用户在不访问 robots.txt 文件本身的情况下，拥有一个具有正确参数的开箱即用的完全填充 robots.txt。因为每个站点都有不同的 URL，所以本地路径将是一个简单的解决方案。我理解你的观点，所以我认为最好的解决方案是以编程方式编写 robots.txt 文件。