robots.txt 以允许 adsense bot答案

【问题标题】：robots.txt to allow adsense botrobots.txt 以允许 adsense bot
【发布时间】：2013-03-26 22:44:58
【问题描述】：

我应该在我的 robots.txt 文件中添加什么，以使 AdSense 机器人不会遇到任何问题来创建我的网站？在 Google 支持 (http://support.google.com/adsense/bin/answer.py?hl=en&answer=10532) 中建议添加以下行

User-agent: Mediapartners-Google 
Disallow:

但在许多在线资源甚至维基百科中，建议的行是：

User-agent: Mediapartners-Google*
Disallow:

谁能帮我澄清一下，我需要添加“*”吗？添加这个“*”符号的目的是什么？如果它很重要，那么为什么 Google 没有提到它在其支持页面中添加 *？

【问题讨论】：

【解决方案1】：

我认为您的问题是您的文件名称错误。应该是robots.txt。星号不是必需的，因为您知道 User-Agent 的确切名称。

【讨论】：

星号通常只是所有爬虫的占位符 (User-agent: *)。
但是为什么WordPress社区建议添加“*”？ codex.wordpress.org/Search_Engine_Optimization_for_WordPress
也许是因为他们没有单独的爬虫规则。例如。你有一个你想要阻止的爬虫。您可以设置允许所有爬虫但不允许机器人 XYZ。你也可以看看StackOverflow的robots.txt。

【解决方案2】：

那个有趣的无处不在的星星 * 无处不在 :D :D

但 Google Webmastertools robots.txt 检查器不喜欢它。

例如，这不允许 Adsense bot，至少根据测试工具，2013 03：

User-agent: Mediapartners-Google*
Disallow:

这在检查器中有效：

User-agent: Mediapartners-Google
Disallow:

【讨论】：