【问题标题】:How to allow multiple robot in robot.txt如何在 robots.txt 中允许多个机器人
【发布时间】:2015-07-19 17:14:49
【问题描述】:
User-Agent:*
Disallow:/

User-Agent: Googlebot
User-Agent: Googlebot-Mobile
User-Agent: Googlebot-Image
User-Agent: Bingbot
Allow:/

这是允许所有 4 个机器人,还是只允许 Bingbot 而禁止一切?

编辑 我的答案可能对忘记/不知道如何测试 robots.txt 的人有用

【问题讨论】:

标签: bots robots.txt


【解决方案1】:

我已经找到了最好的解决方案, 检查您的 Search Console 页面并在那里测试他们的机器人。

例如:

https://www.google.com/webmasters/tools/robots-testing-tool

https://webmaster.yandex.com/robots.xml

http://tools.seobook.com/robots-txt/analyzer/

【讨论】:

    猜你喜欢
    • 2016-08-06
    • 1970-01-01
    • 2012-02-06
    • 2011-11-01
    • 1970-01-01
    • 2023-04-07
    • 1970-01-01
    • 1970-01-01
    • 2014-12-11
    相关资源
    最近更新 更多