【问题标题】:How to block "bot*" bot via .htaccess如何通过 .htaccess 阻止“bot *”机器人
【发布时间】:2015-06-19 10:45:26
【问题描述】:

我的 Awstats 文件中有以下条目:

Unknown robot (identified by 'bot*')

如何阻止这个机器人?
我分别尝试了以下方法,但似乎没有一个能抓住它:

RewriteCond %{HTTP_USER_AGENT} ^bot* 

RewriteCond %{HTTP_USER_AGENT} bot\* 

RewriteCond %{HTTP_USER_AGENT} bot[*]

这是我正在使用的完整 .htaccess 代码:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^bot*
RewriteRule .? - [F,L]

在第二行测试了三个正则表达式值(^bot*、bot\*、bot[*]),没有一个停止机器人。

【问题讨论】:

    标签: .htaccess bots


    【解决方案1】:

    星号 (*) 不是文字。 AWStats 只是声明它使用该特定规则来检查请求是否是由机器人发出的。在您的情况下,bot* 表示用户代理字符串以 bot 开头,并且找到了匹配项。

    由于星号不是字面的,您可以使用以下代替:

    RewriteCond %{HTTP_USER_AGENT} ^bot [OR]  # matches bot* (the same as ^bot.*$)
    RewriteCond %{HTTP_USER_AGENT} bot$       # matches *bot (the same as ^.*bot$)
    

    注意:在这里我应该说,最好检查您的访问日志,以确切了解这些用户代理是什么并专门阻止它们。您不想发现自己处于阻止您可能想要的机器人的位置。


    建议:将您的规则从RewriteRule .? - [F,L] 更改为RewriteRule ^ - [F,L]

    【讨论】:

    • 谢谢迈克。我现在正在使用您的第一行,我会在接下来的一两天内查看它是否会阻止机器人,并在此处进行相应更新。您能否详细说明您的“建议”,为什么要这样更改规则?有人告诉我使用 .?因为正则表达式将匹配任何内容(甚至是空白)并重定向到指定的失败条件。
    • 我把它写成小字,因为它并不重要。使用^ 只是意味着测试字符串以某些东西开头。本质上,它们是相同的,但我认为我的建议可以提高性能。
    • 迈克,机器人似乎仍在访问我的网站。我在 Awstats 文件中看到它今天访问并创建了点击。这是我的 .htaccess 代码: RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^spider [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^bot [NC] RewriteRule .? - [F,L]
    • 我认为机器人无法查看他们请求的内容,但 AWStats 将继续记录请求。我建议您在浏览器中使用用户代理测试器来测试提供给机器人的内容。
    【解决方案2】:

    我们可以使用 .htaccess 文件中的机器人确切名称来阻止机器人。下面的示例肯定会对您有所帮助,目前我正在使用相同的设置,它节省了我的服务器资源。

    SetEnvIfNoCase User-Agent "Yandex" bad_bot    
    SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot    
    SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
    
    <IfModule mod_authz_core.c>
     <Limit GET POST>
      <RequireAll>
       Require all granted
       Require not env bad_bot
      </RequireAll>
     </Limit>
    </IfModule>
    

    如果您有任何疑问,请告诉我。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多