数据标准化 vs 标准化 vs 强大的缩放器

Question

我正在研究数据预处理，并想比较数据标准化与标准化与鲁棒缩放器的实际优势。

理论上，指导方针是：

优点：

1. 标准化：对特征进行缩放，使分布以 0 为中心，标准差为 1。
2. 规范化：缩小范围，使范围现在介于 0 和 1 之间（如果有负值，则为 -1 到 1）。
3. Robust Scaler：类似于归一化，但它使用四分位数范围，因此它对异常值具有鲁棒性。

缺点：

1. 标准化：如果数据不是正态分布（即没有高斯分布），则不好。
2. 标准化：受到异常值（即极值）的严重影响。
3. Robust Scaler：不考虑中位数，只关注批量数据所在的部分。

---

我创建了 20 个随机的数字输入并尝试了上述方法（红色数字代表异常值）：

---

我注意到 -确实- 规范化受到异常值的负面影响，并且新值之间的变化比例变得很小（所有值几乎相同 -6 位小数点后 - 0.000000x）即使原始输入之间存在明显差异！

我的问题是：

1. 我是否正确地说标准化也会受到极值的负面影响？如果不是，为什么根据提供的结果？
2. 我真的看不出 Robust Scaler 如何改进数据，因为我仍然有 extreme 值在结果数据集中？有没有简单完整的解释？

Answer 1

我是否正确地说标准化也会受到极值的负面影响？

你确实是； scikit-learn docs 自己明确警告这种情况：

但是，当数据包含异常值时，StandardScaler 往往会被误导。在这种情况下，最好使用对异常值具有鲁棒性的缩放器。

MinMaxScaler 或多或少也是如此。

我真的看不出 Robust Scaler 是如何改进数据的，因为我仍然有极端值在结果数据集中？任何简单的完整解释？

健壮并不意味着免疫，或者无懈可击，缩放的目的不是为了“去除" 异常值和极端值——这是一项独立的任务，有自己的方法； relevant scikit-learn docs 中再次明确提到了这一点：

RobustScaler

[...] 请注意，异常值本身仍然存在于转换后的数据中。如果需要单独的异常值裁剪，则需要进行非线性变换（见下文）。

“见下文”指的是QuantileTransformer 和quantile_transform。

Answer 2

它们都不是稳健的，因为缩放会处理异常值并将它们放在一个有限的范围内，即不会出现极端值。

您可以考虑以下选项：

• 在缩放前剪裁（例如，在 5 个百分位和 95 个百分位之间）系列/数组
• 如果剪裁不理想，则进行平方根或对数等变换
• 显然，添加另一列“被裁剪”/“对数裁剪量”将减少信息丢失。