无效的robot.txt文件问题[关闭]

【问题标题】：Invalid robot.txt file issue [closed]无效的robot.txt文件问题[关闭]
【发布时间】：2014-03-21 09:37:45
【问题描述】：

我正在尝试验证我的 robots.txt 文件：

User-agent: *
Disallow: /Admin/
Disallow: /admin/
Disallow: /Account/
Disallow: /account/
Disallow: /robots.txt

使用 the frobee robots.txt checker 表示有 2 个语法错误。

Line 1: Syntax error! Expected <field>: <value>
Line 2: Missing User-agent directive! Found Disallow

我真的不明白为什么。

你知道这个简单的 robots.txt 文件有什么问题吗？

【问题讨论】：

【解决方案1】：

http://tool.motoricerca.info/robots-checker.phtml 的 robots-txt-checker 在“User-agent: ...”行前面看到任何（不可见？）字符。

检查您的编码并确保其前面没有字符。尝试使用简单的编辑器重新创建文件，不要复制现有的 robots.txt。

【讨论】：

可能是因为文本编码？
如果您重新创建了文件并且没有复制旧内容仍然存在此错误，我的第二个猜测是编码。
现在我测试了它。你的在某种程度上坏了。我在新的 robots.txt 中输入了相同的内容，它可以工作。在someaddress.de/robots.txt查看并下载它
如果你谈论链接，我的并没有坏。现在我更新了链接。现在它使用 wwww 版本。旧版本正在重定向到 www 版本。
@Freshblood 我不是在谈论链接。您的文件在第一行前面确实包含一个不可见字符，这是不允许的。只需将您的 robots.txt 替换为我的，或者只需输入一个新的（即使它们看起来相同），我相信它会起作用。