如何确定在异常值检测中要删除哪些输入？

Question

我有一个大约 60 列和大约 75000 行的数据集。我使用隔离森林模型检测了一些异常值，并绘制了 shap plot 以查看这些异常值的主要特征。

我的目标是：不仅要检测异常数据，还要找出要删除的输入。

我想知道有什么方法可以尝试实现我的目标吗？我正在考虑使用 shap 值作为删除输入的阈值，但我不知道如何应用这个想法。希望大家能给我一些建议和解决办法。谢谢！

Answer 1

为了检测异常值，有很多机器学习库，比如著名的 SKLearn。

为了检测异常值并找出导致异常值的列（特征），我只注意到 pyod 可以做到。 基于copula的异常值检测算法可以发现异常值以及explain_outliers。

这是参考页面：

https://pyod.readthedocs.io/en/latest/_modules/pyod/models/copod.html

祝你好运。

如果您喜欢，请为答案投票。

最好的问候， 王勇