使用总体样本的分类器：缩放总体然后采样/缩放样本/缩放样本的 X_TRAIN 拆分？

Question

我正在构建一个逻辑回归分类器。

我从一组 500.000 条记录开始，我只想使用其中的一个样本。

你有什么推荐：

1) 缩放总体然后采样 2）缩放样本 3) 仅缩放样本的 X_TRAIN 拆分？

为什么？

我的考虑是：

1) 如果样本代表总体，这可能是有意义的（我应该测试它吗？）

2）这并不令人信服，因为我会选择几个样本来查看分类器的泛化水平，并且每次使用稍微不同的缩放器听起来并不好。加上它会偏向 X_train，X_test 分裂

3）这不会偏向X_train，X_test分裂但对point2有同样的怀疑）

你会推荐什么以及为什么？

Answer 1

很好的问题。几年前刚开始工作时，我的脑海里也有类似的问题。让我试着为此付出我的两分钱。

我建议创建一个缩放器来缩放 X_train，存储缩放器并查看是否使用它来转换 X_test。根据中心性定理，如果你做了随机抽样，你应该有一个类似于总体属性的均值和方差。在大多数情况下，缩放器基于这两个参数工作。如果它代表总体参数，只要测试数据来自同一总体，缩放器就应该起作用。如果它不起作用，您需要更多样本进行训练或再次抽样尝试以获得 X_train 代表人口。

通过这样做，您可以确定模型也适用于新样本，只要它是由相同的流程生成的。毕竟，模型不是为了测试而构建的，它是为了在生产中做一些有用的工作。

我的建议是使用 3) 缩放 X_train 并使用缩放器来转换 X_test。