用户行为分析研究之数据采集
1.1用户行为分析的重要性
用户行为分析的重要性，我想做个网站的人都会用很清晰的认识，本来我想谈谈自己想法，但感觉自己毕竟还是做技术的，很难清晰的从商业价值的角度来分析它的重要性，因此放弃了想阐述自己意见的想法。当我第一次见到百度统计，和谷歌分析网站，就有那种惊鸿一瞥的激动，很想自己也能写出一套这样的网站，这也是我持续研究用户行为分析的初衷。
对于大型网站而言，网站响应速度是网站是否优秀一个重要衡量标准，下面我引用一些权威机构的统计数据来说明网站响应速度的重要性：
用户行为分析的前提就是能准确的采集到用户的相关数据，这就需要我们在网站页面里添加采集数据的代码，如果我们的采集代码写的不好，一定会对网站的性能产生一定的影响，更有甚者还会影响到网站的稳定性。因此设计一套性能卓越，安全性好，耦合度很低的日志采集程序是非常重要的。
这里我提供一套采集数据方案，方案详情如下：
我是做java的程序员，经常使用到的web应用服务器是tomact，jboss，weblogic等等，我这里为什么不使用这些我非常熟悉的web应用服务器，而去选择功能相对单一的apache或者是nginx呢？理由非常简单，因为apache和nginx速度更快，更加轻量级，这个经验来源于我做网站的经验，大型网站的服务端设计是很复杂的，但基本都有一个共同的原则：当用户一个请求提交到了服务端，服务端会先判断这个请求，如果请求的是一些对静态资源的访问（比如图片，不会变化的文字等），请求会直接提交到响应的静态资源服务器集群，这样速度会更快，而这些静态资源服务器基本都是apache或者是像nginx这样的轻量级web服务器集群。
1.3
采集系统之服务端
本地开发，我就不去搭建集群了，有兴趣的童鞋可以在网上查查相关的资料。本地开发我就搭建一个apache服务器。
服务器的开发非常简单，只要修改下apache下的conf文件（注意：我的开发平台是window7），代码如下：
LogFormat
"%h %l %u %t [%{%Y-%m-%d %T}t] "%r" [%q] [%U] %>s
%b "%{Referer}i" "%{User-Agent}i"" combined
LogFormat
"%h %l %u %t [%{%Y-%m-%d %T}t] "%r" [%q] [%U] %>s
%b" common
# You need to enable mod_logio.c to use %I and %O
LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] "%r" [%q] [%U]
%>s %b "%{Referer}i" "%{User-Agent}i" %I %O"
combinedio
在htdocs文件夹里添加如下文件：
1)
a.gif。（1*1像素的透明文件）
2)
click.html。（用于记录点击日志）
3)
error.html。（记录错误信息日志）
启动apache服务器，我们在浏览器录入如下地址：
http://127.0.0.1/a.gif?name=sharpxiajun&msg=test
在logs文件夹里找到2012_06_26.access.log文件，打开文件，我们会看到如下日志：
127.0.0.1 - - [26/Jun/2012:11:37:07 0800] [2012-06-26 11:37:07]
"GET /a.gif?name=sharpxiajun&msg=test HTTP/1.1"
[?name=sharpxiajun&msg=test] [/a.gif] 200 43
访问请求被完整的记录下来了。
1.4
采集系统之客户端
采集系统的核心还是客户端的采集脚本，这里我会贴出完整的采集脚本以及测试页面，代码的详细解析我会在以后的博客里进行阐述。
我的采集脚本可以记录用户访问的日志，还能记录用户的点击日志，不过点击日志一般包含业务含义需要用户根据自己的需求去定义。代码如下：
up_beacon.js:
View Code
install_up_beacon.js文件，这个文件对外提供：
(function(window,document,undefined){
//
upLogger对象是采集脚本对外提供的操作对象
if
(window.upLogger){//如果不为空，直接返回，避免重复安装
return;
}
var
cookieUtil = {//cookie操作工具类
setCookie:function(sName,sValue,oExpires,sPath,sDomain,bSecure){
var currDate = new Date(),
sExpires = typeof oExpires == \'undefined\'?\'\':\';expires=\' new
Date(currDate.getTime() (oExpires * 24 * 60 * 60*
1000)).toUTCString();
document.cookie = sName \'=\' sValue sExpires ((sPath == null)?\'\':(\'
;path=\' sPath)) ((sDomain == null)?\'\':(\' ;domain=\' sDomain))
((bSecure == true)?\' ; secure\':\'\');
},
getCookie:function(sName){
var regRes = document.cookie.match(new RegExp("(^| )" sName
"=([^;]*)(;|$)"));
return (regRes != null)?(regRes[2]):\'-\';
}
};
var btsVal =
cookieUtil.getCookie(\'b_t_s\'),//b_t_s的cookie作用1.标识该页面是否已经安装了采集脚本；2.记录采集脚本的有效期
startTime = 0,
intervalTime = 3 * 24 * 60 * 60 * 1000,
currIntervalTime = new Date().getTime() - 1200000000000,
domainHead =
(document.URL.substring(0,document.URL.indexOf(\'://\')))
\'://\';
if (btsVal
!= \'-\' && btsVal.indexOf(\'t\') !=
-1){
var getBtsTime = btsVal.substring(btsVal.indexOf(\'t\')
1,btsVal.indexOf(\'x\'));
getCurrInterVal = currIntervalTime - getBtsTime;
if (getCurrInterVal > intervalTime){
startTime = currIntervalTime;