【发布时间】：2012-09-03 03:38:21
【问题描述】：
我正在将 CodeIgniter 与存储在我的数据库中的会话一起使用。 在短时间内，机器人/蜘蛛等创建了大量会话。
有没有办法防止这种情况发生？也许通过 .htaccess？
【问题讨论】：
标签： codeigniter session web-crawler robot
【发布时间】：2012-09-03 03:38:21
【问题描述】：
首先，您应该在域的 Web 根目录中创建一个 robots.txt 文件来解决两个问题。首先控制网站被抓取的速度，这有助于防止机器人/蜘蛛同时创建大量数据库连接。其次是防止特定的机器人爬取网站。使用以下默认值，但是您可能希望添加或删除被拒绝的用户代理，并调整抓取速度
示例代码：
User-agent: *
Crawl-delay: 10
User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
在使用 /robots.txt 时有两个重要的注意事项：
- 机器人可以忽略您的 /robots.txt。尤其是扫描网络以查找安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收集器将不会引起注意。
- /robots.txt 文件是公开可用的文件。任何人都可以看到您不希望机器人使用服务器的哪些部分。
【讨论】：