现有功能的组合会产生新功能吗？答案

【问题标题】：Do combination of existing features make new features ?现有功能的组合会产生新功能吗？
【发布时间】：2012-02-06 00:07:52
【问题描述】：

如果我添加现有特征的线性、非线性组合，是否有助于更好地分类？例如，将均值、方差添加为从现有特征计算的新特征是否有帮助？我相信它肯定取决于分类算法，就像 PCA 一样，算法本身会生成相互正交的新特征，并且是输入特征的线性组合。但是在基于决策树的分类器或其他分类器的情况下，它会产生怎样的影响呢？

【问题讨论】：

【解决方案1】：

是的，现有特征的组合可以提供新的特征并帮助分类。此外，特征与其自身的组合（例如特征的多项式）可以用作分类期间要使用的附加数据。

例如，考虑以这样的线性公式为核心的逻辑回归分类器：

g(x, y) = 1*x + 2*y

想象一下，您有 2 个观察结果：

在这两种情况下，g() 都等于 8。如果观察属于不同的类别，则无法区分它们。但是让我们再添加一个变量（特征）z，它是前两个特征的组合 - z = x * y：

g(x, y, z) = 1*x + 2*y + 0.5*z

现在我们有同样的观察结果：

所以现在我们得到 2 个不同的点并且可以区分 2 个观察值。

多项式特征（x^2、x^3、y^2等）不给出额外的点，而是改变函数的图形。例如，g(x) = a0 + a1*x 是一条线，而g(x) = a0 + a1*x + a2*x^2 是抛物线，因此可以更紧密地拟合数据。

【讨论】：

【解决方案2】：

一般来说，拥有更多功能总是更好。除非您已经具有非常好的预测功能（即它们允许完美分离要预测的类），否则我总是建议添加更多功能。在实践中，许多分类算法（尤其是决策树诱导器）无论如何都会为其目的选择最佳特征。

【讨论】：

我不同意“拥有更多特征总是更好的”——特征选择和维度过程如何？
这个想法是新功能（或现有功能的组合）可以让您做出更好的预测。如果他们不这样做，他们将不会被选中。正如您所指出的，您还可以运行特征选择以减少特征数量。我看不出维度的诅咒来自哪里——例如支持向量机故意增加特征空间的维度以提高性能。