为什么交互属性可以提高线性回归的性能答案

【问题标题】：Why interaction attributes improve the performance of Linear Regression为什么交互属性可以提高线性回归的性能
【发布时间】：2012-10-24 05:22:19
【问题描述】：

我正在使用线性回归模型研究 Weka。我意识到，通过将数据集中的两个相关属性相乘并将其添加为额外属性，我可以提高线性回归的性能。但是，我不明白为什么！为什么我将两个相关属性相乘会有更好的结果。

【问题讨论】：

【解决方案1】：

这表明您正在逼近的函数在原始输入中不是线性的，而是在他们的乘积中。实际上，您已经重新发明了多变量 polynomial regression。

例如，假设您要逼近的函数的形式为 y = a × x² + b × x + c。拟合在 x 上的线性回归模型不会给出好的结果，但是当你同时输入 x² 和 x 时，它可以学习正确的a和b。

在多变量设置中也是如此：函数在 x₁ 和 x_{2 中可能不是线性的sub> 分开，但它可能在 x₁ × x₂，你称之为“交互属性” ”。（我知道这些是叉积特征或特征连接；它们是 SVM 中的多项式内核计算的内容，这就是为什么 SVM 比线性模型学习能力更强。）}

【讨论】：