异常值去除隔离林

Question

我一直在尝试使用隔离林从我的数据库中删除异常值，但我不知道怎么做。我已经看过信用卡欺诈和薪水的例子，但我不知道如何将它们应用于每一列，因为我的数据库由 3862900 行和 19 列组成。我已经上传了我的数据库负责人的图像。我不知道如何在每列上应用隔离林，然后永久删除这些异常值。

谢谢。

Answer 1

IsolationForest 可能打算从异常值中清除您的数据。正如answer 所说，在通常的机器学习设置中，您将运行它来清理您的训练数据集。

from sklearn.ensemble import IsolationForest
clf = IsolationForest(max_samples=100, random_state=4, contamination=.1)
#identify outliers:
y_pred_train = clf.fit_predict(X_train)
#Remove outliers where 1 represent inliers and -1 represent outliers:
X_train_cleaned = X_train[np.where(y_pred_train == 1, True, False)]

我们可以在无监督设置中使用 IQR 等不同的方法来参数化 contamination。

Answer 2

根据docs 用于检测异常值而不是删除它们

df = pd.DataFrame({'temp': [1,2,3,345,6,7,5345, 8, 9, 10, 11]})
clf = IsolationForest().fit(df['temp'].values.reshape(-1, 1)) 
clf.predict([[4], [5], [3636]])

array([ 1, 1, -1])

从输出中可以看出，4 和 5 不是异常值，但 3636 是。

如果您想从数据框中删除异常值，您应该使用 IQR

quant = df['temp'].quantile([0.25, 0.75])
df['temp'][~df['temp'].clip(*quant).isin(quant)]

4     6
5     7
7     8
8     9
9    10

如您所见，异常值已被删除

对于整个 df

def IQR(df, colname, bounds = [.25, .75]):
    s = df[colname]
    q = s.quantile(bounds)
    return df[~s.clip(*q).isin(q)]

注意：隔离林无法从您的数据集中移除异常值，它用于检测新的异常值