奇怪的线性回归学习曲线

Question

我正在尝试建立一个公寓价格预测模型。我使用 python scikit-learn 工具集。我正在使用一个包含公寓总建筑面积和位置的数据集，我已将其转换为虚拟特征。所以数据集看起来像这样： 然后我建立一个学习曲线来看看模型是如何做的。 我这样构建学习曲线：

from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import learning_curve

model = LinearRegression()
training_sizes, training_scores, validation_scores = learning_curve(
    estimator = model,
    X = X_train,
    y = y_train,
    train_sizes = np.linspace(5, len(X_train) * 0.8, dtype = int), 
    cv = 5
)
line1, line2 = plt.plot(
    training_sizes, training_scores.mean(axis = 1), 'g', 
    training_sizes, validation_scores.mean(axis = 1), 'r')
plt.legend((line1, line2), ('Training', 'Cross-validation'))

我看到的图片有些混乱： 我在这里看到的异常是：

1. 交叉验证集出现巨大错误
2. 训练示例数量增长时错误不会稳步减少。

正常吗？

仅训练集的学习曲线也不是那么平滑，但至少误差不是那么大：

我还尝试添加以添加二次多项式特征。但这并没有使模型的表现有任何不同。而且因为我有很多分类特征（总共 106 个），即使是二次多项式也需要很长时间。所以我没有尝试更高的学位。

我还尝试使用 Octave 尽可能简单的成本函数和梯度下降来构建模型。奇怪错误的结果是一样的。

更新： 感谢tolik我做了几处修改：

数据准备： 分类数据是独立的。所以我不能将它们组合成一个功能。 使用 StandardScaler() 缩放特征。谢谢你。

特征提取： 在使用 PCA 进行特征转换后，我发现一个新特征可以解释超过 99% 的方差比。虽然很奇怪我只用了这个。这也允许增加多项式次数，尽管它没有提高性能。

型号选择： 我尝试了几种不同的模型，但似乎没有一个比线性回归更好。有趣的事情——所有模型在完整数据集上的表现都更差。可能是因为我按价格排序，而更高的价格是相当离群的。因此，当我开始在 1000 个样本上训练集并达到最大值时，我得到了这张图片（几乎适用于所有模型）：

Answer 1

我的解释分为三个步骤：数据准备、特征提取和模型选择。

数据准备：

• 在这个数据集中有很多分类和有序值。如果 该专栏有几个不相关的类别，可以单选它。 但是如果该列的类别具有类似的顺序 "bad","normal","good" 您可以将其转换为数值为 {好：1，正常：0.5，坏：0}。
• 值范围：每个特征的值范围彼此不同，因此最好的做法是在 0:1 之间对每个特征进行归一化。

特征提取：

• 您的目标是最大化分数，所以我猜您并不关心哪个功能更重要。使用 PCA（在 scikit-learn 库中有一个实现），该算法将您的特征向量转换为不同的特征，每个特征都是其他特征的线性组合。这些新特征按其解释的方差排序。第一个特征比最后一个特征更好地描述了数据。您选择他们的explained_variance_ 总和为 99% 的第一个特征。现在您的功能更轻了。

型号选择： 你真的不知道什么是好的模型，因为 No Free Lunch Theory 但在这个问题中最好的结果是不使用深度学习，使用这些：XGBoost-Regressor、Random-Forest-回归器，Ada-Boost。

最重要的是数据准备！！！