过滤掉搜索引擎机器人流量

Question

我正在我的网站上进行自定义滚动视图跟踪，我只是意识到我完全忘记了搜索机器人会点击页面。如何从我的视图跟踪中过滤掉这些流量？

Answer 1

查看用户代理。加入黑名单似乎是合乎逻辑的，即过滤掉所有包含“Googlebot”或其他已知搜索引擎机器人的字符串，但它们太多了，将其列入白名单可能是最简单的：使用已知浏览器记录访问者.

另一种方法是使用一些 JavaScript 来进行实际的日志记录（就像 Google Analytics 所做的那样）。机器人不会加载 JS，因此不会计入您的统计数据。您还可以通过这种方式进行更详细的日志记录，因为您可以准确地看到（精确到像素 - 如果需要）点击了哪些链接。

Answer 2

您可以查看用户代理：here 有一个不错的列表。 或者你可以交叉检查 robots.txt 上的点击，因为所有蜘蛛都应该首先阅读，而用户通常不会。