过采样会导致模型过拟合吗？

Question

目标属性分布目前是这样的：

mydata.groupBy("Churn").count().show()

+-----+-----+
|Churn|count|
+-----+-----+
|    1|  483|
|    0| 2850|
+-----+-----+

我的问题是：

• 过采样方法，例如：manully、smote、adasyn 是否会使用可用数据来创建新数据点？

• 如果我们用这样的数据来训练一个分类模型，会不会是过拟合？

Answer 1

我的问题是任何过采样方法（手动、smote、adasyn）都将使用可用数据来创建新数据点。

• 数据不平衡问题主要分三步处理：
  1. 对少数类进行过采样。
  2. 对多数类进行欠采样。
  3. 合成新的少数类。

SMOTE（Synthetic Minority Over-sampling TEchnique）即将进入第三步。这是从数据集中创建新的少数类的过程。

SMOTE中的流程如下：

所以，这比过度采样要更智能。

如果我们用这样的数据来构建分类模型，会不会是过拟合？

正确的答案是很可能。试试看！

这就是为什么我们使用 测试集 和 交叉验证 来尝试了解模型是否可以很好地处理看不见的数据！