15 异常检测

15 异常检测

• 15 异常检测
  • 15.1 问题的动机
  • 15.2 高斯分布
  • 15.3 算法
  • 15.4 开发和评估
  • 15.5 异常检测与监督学习对比
  • 15.6 选择特征
    • 调整特征使其服从高斯分布
    • 异常检测算法的误差分析
    • 组合特征产生新特征
  • 15.7 多元高斯分布
    • 定义
    • 直观理解
      • ΣΣ\Sigma大小变化对正态分布带来的影响
      • μμ\mu大小变化对正态分布的影响
  • 15.8 多元高斯分布做异常检测
    • 与原始模型的关系

15.1 问题的动机

根据已有数据集建立概率模型p(x):

x={异常样本正常样本if p(x) <ϵotherwise$$x=\{\begin{array}{ll}异常样本& \text{if p(x) <}ϵ\\ 正常样本& \text{otherwise}\end{array}$$

15.2 高斯分布

p(x;μ,σ2)=12π‾‾‾√σexp(−(x−μ)22σ2)$$p(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

叫做x∼N(μ,σ2)$x\sim N(\mu ,{\sigma }^2)$
其中，

μ=1m∑i=1mx(i)$$\mu =\frac{1}{m}\sum _{i=1}^m{x}^{(i)}$$

总体的方差（σ$\sigma$是标准差）：

σ2=1m∑i=1m(x(i)−μ)2$${\sigma }^2=\frac{1}{m}\sum _{i=1}^m(x^{(i)}-\mu {)}^2$$

样本的方差：

σ2=1m−1∑i=1m(x(i)−μ)2$${\sigma }^2=\frac{1}{m-1}\sum _{i=1}^m(x^{(i)}-\mu {)}^2$$

但其实样本的标准差无所谓减不减一，统计量小的时候无意义，统计量大的时候有更能引起误差的地方。

15.3 算法

1. 选择可以表示异常样本的特征xj$x_j$
2. 计算特征μ1,μ2,...,μn,σ21,σ22,...,σ2n${\mu }_1,{\mu }_2,...,{\mu }_n,{\sigma }_1^2,{\sigma }_2^2,...,{\sigma }_n^2$:
   
   μj=1m∑i=1m(x(i)j)$${\mu }_j=\frac{1}{m}\sum _{i=1}^m(x_j^{(i)})$$
   
   
   σ2j=1m∑i=1m(x(i)j−μj)2$${\sigma }_j^2=\frac{1}{m}\sum _{i=1}^m(x_j^{(i)}-{\mu }_j{)}^2$$
3. 对于给出的样本x$x$,计算p(x)$p(x)$:
   
   p(x)=∏j=1np(xj;μj,σ2j)=∏j=1n12π‾‾‾√σjexp(−(xj−μj)22σ2j)$$p(x)=\prod _{j=1}^{n}p(x_j;{\mu }_j,{\sigma }_j^2)=\prod _{j=1}^n\frac{1}{\sqrt{2\pi }{\sigma }_j}exp(-\frac{(x_j-{\mu }_j{)}^2}{2{\sigma }_j^2})$$
   
   如果p(x)<ϵ,$p(x)<ϵ,$ x$x$为异常点

15.4 开发和评估

现在有一些带标签的数据，有正常数据和异常数据
规定y=0 if normal$y=0ifnormal$, y=1 if anomalous$y=1ifanomalous$
训练集：x(1),x(2),...,x(m)$x^{(1)},x^{(2)},...,x^{(m)}$，即使存在少量异常数据也无所谓。
交叉验证集：(x(1)cv,y(1)cv),...,(x(mcv)cv,y(mcv)cv)$(x_{cv}^{(1)},y_{cv}^{(1)}),...,(x_{cv}^{(m_{cv})},y_{cv}^{(m_{cv})})$
测试集：(x(1)test,y(1)test),...,(x(mtest)test,y(mtest)test)$(x_{test}^{(1)},y_{test}^{(1)}),...,(x_{test}^{(m_{test})},y_{test}^{(m_{test})})$
比如：
10000个正常引擎
20个异常引擎
训练集：6000个正常的引擎
CV：2000个正常引擎，10个异常引擎
Test: 2000个正常引擎，10个异常引擎

---

$$	预测正例	预测反例
现实正例	TP	FN
现实反例	FP	TN

精确率：precision=TPTP+FP$precision=\frac{TP}{TP+FP}$预测出的正例中真的为正例的比例
召回率: recall=TPTP+FN$recall=\frac{TP}{TP+FN}$ ,现实所有正例中预测出的正例比例
F1=2PRP+R$F_1=\frac{2PR}{P+R}$

---

评价：
- 根据训练集数据，计算μ$\mu$和σ2${\sigma }^2$，构建p(x)$p(x)$
- 根据交叉验证集，用F1$F_1$、精确率与召回率的比例，尝试不同ϵ$ϵ$
- 根据ϵ$ϵ$, 针对测试集预测，计算F1$F_1$、精确率与召回率的比例

15.5 异常检测与监督学习对比

正向样本在异常检测中即为异常点

异常检测	监督学习
非常少的正向样本，数据集很偏斜	大量的正向样本和负向样本
有很多不同类的异常样本，很难从正向样本中学到异常的样子，未来出现的异常可能和现有异常都不同	充足的正向样本，可以通过算法得到正向样本的形态，未来的正向样本和训练集的正向样本很像

异常检测	监督学习
欺诈行为检测	垃圾邮件分类
生产飞机引擎	天气预报
检测数据中心的机器	肿瘤分类

15.6 选择特征

调整特征使其服从高斯分布

画出数据或者数据特征的直方图

如果这是x$x$的特征x1$x_1$的分布图，那么让x1=log(x1)$x_1=log(x_1)$。
或者x1=log(x1+C)$x_1=log(x_1+C)$
或者x1=x121$x_1=x_1^{\frac{1}{2}}$，这个指数可以调整。
调整特征使其看起来像高斯分布。

异常检测算法的误差分析

常见问题：
p(x)$p(x)$将异常数据预测为正常数据，因为其具有高的p(x)$p(x)$值。
这时，去分析预测错误的数据，尝试找到原因，可能会发现需要增加新特征。
结合新特征后，异常数据将不再具有高p(x)$p(x)$值。

x2是新特征。

组合特征产生新特征

我们选择的特征不能特别大，也不能特别小。
反过来说，我们需要在异常时候能过特别大或者特别小的值作为特征。
在计算机中心，选择四个特征：
- x1$x_1$ = 内存
- x2$x_2$ = 磁盘访问数/秒
- x3$x_3$ = CPU负载
- x4$x_4$ = 网络通信量
现在有一个新的类型的异常，CPU的负载高，网络通信量低，即，一个特征大，一个特征小，为了突出这种异常，组合上面的异常：
x5=$x_5=$ CPU负载网络通信量$\frac{CPU负载}{网络通信量}$
那么，如果这种异常发生，特征会极其大。
即，可以通过组合现有特征，产生更明显的特征。

15.7 多元高斯分布

希望能改变高斯分布的边界，从红色线变到蓝色线，这样，像绿色的异常点就不会被误预测为正常点。

定义

x∈Rn$x\in R^n$
模型p(x)$p(x)$不是p(x1)、p(x2)...$p(x_1)、p(x_2)...$的乘积。
参数：
μ∈Rn$\mu \in R^n$ ，协方差矩阵 Σ∈Rn∗n$\mathrm{\Sigma }\in R^{n\ast n}$

p(x;μ,Σ)=1(2π)n/2|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))$$p(x;\mu ,\mathrm{\Sigma })=\frac{1}{(2\pi {)}^{n/2}|\mathrm{\Sigma }{|}^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\mathrm{\Sigma }}^{-1}(x-\mu ))$$

直观理解

Σ$\mathrm{\Sigma }$大小变化对正态分布带来的影响

对角线：数值越大，越低，占地面积越大

对角线：数值之间差距越大，越椭圆

反对角线：x1与x2正相关，数值越大，越窄越高；

反对角线：x1与x2负相关，数值越大，越窄越高；

μ$\mu$大小变化对正态分布的影响

影响中心的位置

15.8 多元高斯分布做异常检测

1. 根据训练集计算μ$\mu$、Σ$\mathrm{\Sigma }$，得到模型p(x)$p(x)$
2. 对一个给定的新样本x$x$，计算p(x)$p(x)$，如果p(x)<ϵ$p(x)<ϵ$，则为异常样本

与原始模型的关系

原始模型是多元高斯分布关于轴对称的特例。也就是其轴与坐标轴平行。
即，原始模型是多元高斯分布的参数Σ$\mathrm{\Sigma }$为对角阵的情况（除对角线外，其他元素为零）

原高斯模型	多元高斯模型
当特征之间有相关性的时候，手动创建特征去捕捉异常	自动捕获特征之间的相关性
计算代价小	计算代价大
训练集小也可以检测	必须 m > n，否则Σ$\mathrm{\Sigma }$不可逆;一般 m > 10n; 如果特征冗余，Σ$\mathrm{\Sigma }$也不可逆