识别搜索爬虫

【问题标题】：Identifying Search Crawler识别搜索爬虫
【发布时间】：2015-10-21 03:47:53
【问题描述】：

我有一个网站，它计算有多少人访问了该特定页面，但我不想计算搜索爬虫何时访问它们。 java有什么方法可以识别它是爬虫还是真实用户？使用Java7和tomcat

谢谢

【问题讨论】：

【解决方案1】：

正如亨利所说，您必须检查每个请求的 User-Agent 标头。

此外，您可以检查模式是否包含“bot”、“crawler”等。另请注意，某些机器人可以使用通常的用户用户代理字符串来掩盖自己。

此检查必须非常快，因此您需要为爬虫名称创建缓存。或者你可以使用谷歌分析，我认为它不包括网络爬虫。

【讨论】：