我正在使用在线工具测试我的网站，其中一个工具给了我这个警告：
您的服务器似乎允许来自用户代理 Libwww-perl 的访问。自动寻找软件漏洞的僵尸网络脚本有时被标识为 User-Agent libwww-perl。通过阻止来自 libwww-perl 的访问，您可以消除许多更简单的攻击。阅读有关阻止 Libwww-perl 访问和提高网站安全性的更多信息。
我的网站是一个 ASP.NET MVC 5 网站，我只是将这些行添加到我的“robots.txt”文件中。
User-agent: *
Disallow: /
User-Agent: bingbot
Allow: /
但是，该工具仍会报告警告。问题是什么？我正在阻止所有机器人，只是将 bingbot 设置为允许。
【问题讨论】：
标签： asp.net asp.net-mvc security
除非您提供在线扫描工具的 URL 或名称，否则我只能猜测它会在发送 User-Agent: libwww-perl 时尝试抓取您的页面 - 如果您在 robots.txt 中阻止它，则不会。
背景是，robots.txt 包含行为良好的搜索引擎的规则，而不是恶意软件的规则。来自http://www.robotstxt.org/robotstxt.html：
我假设要“修复”此警告，如果 HTTP 标头包含 User-Agent: libwww-perl，您必须拒绝对任何页面、图像或文件的所有请求。请参阅this question on configuring IIS 在不修改您的网站的情况下拒绝这些请求。
就个人而言，我不会拒绝这些请求，因为这不值得麻烦。在扫描工具中更改用户代理很容易，并且大多数已经允许模仿广泛使用的浏览器，因此安全增益将非常小。另一方面，可能存在无法使用的良好/合法工具，因为它不会伪造其身份。
【讨论】：
尝试将其添加到您的文件中：
User-agent: Libwww-perl
Disallow: /
【讨论】：
将robot.txt 添加到您的应用程序中，并将该文件包含在您的应用程序的根目录中。将以下内容添加到该 robots.txt 文件中
User-agent: Libwww-perl
Disallow: /
有关更多信息，请查看以下信息... http://www.iis.net/learn/application-frameworks/install-and-configure-php-applications-on-iis/translate-htaccess-content-to-iis-webconfig
【讨论】：
可以通过 .htaccess 重写来阻止它：
RewriteCond %{HTTP_USER_AGENT} libwww-perl.*
RewriteRule .* ? [F,L]
【讨论】：