随机森林是线性还是非线性回归模型[关闭]答案

【问题标题】：Is Random Forest a linear or non linear regression model [closed]随机森林是线性还是非线性回归模型[关闭]
【发布时间】：2021-10-13 18:00:56
【问题描述】：

由于决策树是非线性模型，因此我认为随机森林也应该是非线性方法。但是在某些文章中，我读到了其他文章。谁能解释一下它们是如何非线性的。

或者换句话说是线性或非线性数据的随机森林。

如果我有一个变量 A（依赖）和其他自变量 B 和 C 等等。 RF 如何对数据中的这些变量进行回归。

【问题讨论】：

我认为这个问题没有意义——它本身就是一个模型，而不是线性回归模型。所以我不认为我理解这个问题
我投票结束这个问题，因为它与 help center 中定义的编程无关，而是关于 ML 理论和/或方法 - 请参阅 stackoverflow.com/tags/machine-learning/info 中的介绍和注意事项跨度>
声称RF是线性模型是荒谬的；愿意分享你说你读过的确切来源吗？

【解决方案1】：

RF 所做的是将您的数据分成方格。然后，当您获得一个新数据点时，它会遵循是/否答案并最终出现在一个框中。

在分类中，它计算每个框中每个类的数量，并且大多数类是预测的。

在进行回归时，它取每个框中值的平均值。

在回归设置中，您有以下等式

y = b0 + x1*b1 + x2*b2 +.. + xn*bn

其中xi 是您的特征“i”，bi 是xi 的系数。

线性回归在系数中是线性的，但假设我们有以下回归

y=x0 +x1*b1 + x2*cos(b2)

这不是线性回归，因为它在系数 b2 中不是线性的。

要检查它是否是线性的，那么对于所有bi，y 相对于bi 的导数应该独立于bi，即采用第一个示例（线性示例）：

dy/db1 = x1

它独立于b1（这对所有dy/dbi 给出相同的答案），但第二个示例

# y=x0 +x1*b1 + x2*cos(b2)
dy/db2 = x2*(-sin(b2))

这不独立于b2，因此不是线性回归。

如您所见，RF 和线性回归是两个不同的东西，回归的线性与 RF 无关（或相反）

【讨论】：