【发布时间】：2012-07-25 06:12:17
【问题描述】：
我是一名网站管理员，我正在尝试控制浏览器操作的 Watir ruby gem。
我知道很多开发人员使用 Watir 进行测试，但我也看到使用 Watir 从网站上抓取内容。
我想知道作为网站管理员，我可以检测到这种用法吗？我还能检测到 scraper 正在使用 Watir 吗？
还有我怎样才能阻止 Watir？
【问题讨论】：
标签： ruby web-scraping screen-scraping watir
【发布时间】：2012-07-25 06:12:17
【问题描述】：
我不确定您是否可以检测到访问您网站的浏览器背后是否有人类或 Watir 脚本。 Watir 驱动真正的浏览器，因此通过用户代理过滤无济于事。
如果您有一个工具可以让您实时监控流量，您可以通过大量流量到同一 IP 来检测屏幕抓取。然后，您可以（暂时）阻止该 IP。
目前我想不出任何其他方法来阻止屏幕抓取。 robots.txt 之类的文件只是一个约定，脚本可以忽略它。
【讨论】：
如果您监控该用户的使用情况，您可能会检测到是否有人在抓取您的网站 - 如果用户做事非常快，那么它可能是机器人。
但是，您无法检测到抓取工具是否使用 Watir 或任何其他抓取工具。
【讨论】：