异常检测 Deequ 库中的直方图

Question

我们可以在异常检测中使用直方图分析器吗？

假设我想检查指定列中变量比率的变化。例如 以男性和女性为值的列的直方图分析类似于 (Male - 0.6) 和 (Female - 0.4)。 现在，如果值从这些值更改为其他值，则应该是数据异常。 我试过了，但没弄明白。

我们目前可以实现这样的目标吗？

Answer 1

AnomalyDetectionStrategy 需要一系列 Doubles。

只要您可以将计算转换为一维异常检测问题，您就可以使用 deequ。例如，您可以使用合规性分析器（而不是直方图）来计算男性/女性的频率并将其输入异常检测器。