使用二维空间信息检测异常值答案

【问题标题】：outlier detection using 2D spatial information使用二维空间信息检测异常值
【发布时间】：2021-01-27 07:09:54
【问题描述】：

我有一个带有地理坐标的空气质量传感器测量值列表，我想实施异常值检测。传感器列表相对较小（约 50 个）。

空气质量可以随着距离逐渐变化，但突然的局部峰值可能是异常值。如果靠近位置的传感器组中的一个传感器显示更高的值，则它可能是异常值。如果更远的传感器显示相同的更高值，则可能没问题。

当然，我可以忽略坐标并假设正态分布进行简单的异常值检测，但我希望做一些更复杂的事情。对此进行建模并实施异常值检测的好的统计方法是什么？

【问题讨论】：

另一个简单的选择是将每个坐标的空气质量估计为 k 个（例如 k=3）最近传感器的中值。另外，也许试试stats.stackexchange

标签： statistics spatial outliers unsupervised-learning

【解决方案1】：

上述声明("If one sensor in the group of closely located sensors shows a higher value it could be an outlier. If the same higher value is shown by more distant sensors it might be OK.") 表明，彼此靠近的传感器往往具有更相似的值。

托布勒地理学第一定律——“一切都与其他一切相关，但近处的事物比远处的事物更相关”

您可以量化这个问题的答案。重点不应放在异常传感器的位置和值上。使用全局spatial autocorrelation 来回答彼此靠近的传感器趋于相似的程度。

首先，您需要为每个传感器定义neighbors。

【讨论】：

我有每个传感器的地理坐标（纬度/经度），从中我可以定义成对的距离度量。不知道如何从那里开始......

【解决方案2】：

我会计算一个成本函数，由两个成本组成：

1：cost_neighbors：计算与预期值的传感器值的偏差。期望值是通过将所有值相加并按它们的距离加权来计算的。

2：cost_previous_step：检查传感器的值与上一个时间步相比变化了多少。价值的巨大变化会导致巨大的成本。

这是一些描述如何计算成本的伪代码：

expected_value = ((value_neighbor_0 / distance_neighbor_0)+(value_neighbor_1 / distance_neighbor_1)+ ... )/nb_neighbors

cost_neighbors = abs(expected_value-value)

cost_previous_timestep = value@t - value@t-1

total_cost = a*cost_neighbors + b*cost_previous_timestep

a 和 b 是可以调整的参数，以对每个成本产生或多或少的影响。然后使用总成本来确定传感器值是否为异常值，它越大，越有可能是异常值。

要弄清楚性能和权重，您可以绘制一些标记数据点的成本，您可以知道它们是否是异常值。

cost_neigbors

|           X
|          X   X
|         
|o    o
|o o   o
|___o_____________  cost_previous_step

X= outlier
o= non-outlier

您现在可以手动设置阈值，也可以使用标签和成本创建一个小型数据集，并应用任何类型的分类器函数（例如 SVM）。

如果您使用 python，查找邻居及其距离的简单方法是scipy.spatial.cKDtree

【讨论】：