【问题标题】:robot.txt allow instead of Disallowrobots.txt 允许而不是禁止
【发布时间】:2016-11-26 03:18:48
【问题描述】:

我的应用程序的动态网址很少,所以 robots.txt 中是否有允许而不是 Disallow?喜欢

User-agent: *
allow: / 
allow: /blog 

或者我必须做这样的事情?

User-agent: *
Disallow: /users/*

【问题讨论】:

  • 你想达到什么目的?

标签: html seo robots.txt


【解决方案1】:

有,它被称为“允许”。 您甚至可以通过这种方式禁止一个完整的文件夹但一个文件:

User-agent: * 
Disallow: /folder/
Allow: /folder/file.php

【讨论】:

    猜你喜欢
    • 2016-08-01
    • 1970-01-01
    • 1970-01-01
    • 2023-04-07
    • 1970-01-01
    • 1970-01-01
    • 2023-03-31
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多