Robots.txt 文件验证问题

Question

我正在为我们的门户使用一个非常简单的 robots.txt 文件，如下所示

用户代理：* 不允许： / 允许：/robots.txt

问题是，当我使用在线验证器并将其指向我的 robots.txt 文件的实时副本时，它会显示这个奇怪的额外字符和错误

Line 1 User-agent: *

This line doesn't follow a correct syntax. The correct syntax is: : , where "field" can be "User-agent" or "Disallow". Please refer to Robots Exclusion Standard page for more informations.

请注意它在用户代理之前显示的奇怪字符。有什么建议吗？

提前致谢

Answer 1

造成这种情况的原因可能是您在文件开头有一个 BOM（字节顺序标记），因为您以 UTF 保存。如果是这样，更正此问题的最简单方法是以 ASCII 格式重新保存 robots.txt 文件。