什么是上下文数据的简单异常值检测算法？

Question

我正在寻找一种简单的异常值检测技术，可以帮助我去除数据集中的异常值。 我有 200 万个样本，这些样本是从 3000 个正弦周期获得的局部放电测量值。这意味着测量设备能够测量必要的数据，即使是在一个周期内的小幅度变化。 所以我的数据是随着时间的推移将正弦波应用于绝缘材料并记录它们以获得200万个样本的测量值。 这里的问题是数据有一个上下文，我无法使用传统方法和算法（如 kNN 搜索）检测异常值，因为重要数据会从数据集中删除，因为它们与其他数据的距离很远。 我进行了搜索，发现在上下文数据集中有不同的异常值检测方法。你能帮帮我吗？

Answer 1

1 选项是执行特征工程并将您的上下文数据转换为数字数据，例如“1 热编码”，我们的获取计数，例如使用“平均每天发生 5 次”的特征进行训练，然后执行您的预测每天一次。