随机森林与支持向量机。哪个更快？

Question

我将支持向量机与径向盆地函数的性能和随机森林与 250 棵树的性能进行比较。我正在使用 e1071 (SVM) 和 randomForest (RF) 包。

我的数据集包含大约 500,000 个训练样本。虽然两种方法都获得了相似的 OA，但两者的训练时间却大不相同。

在 RF 中，训练时间很短，但在 SVM 中，训练时间随着样本数量的增加呈指数增长。

这是一种习惯行为吗？它是 SVM 和 RF 算法的特性还是 e1071 实现太慢了？这种关系在scikit-learn等其他实现中是否成立？

Answer 1

回想一下SVM 的工作原理，它将内核应用于每对输入，而这个scales badly。 SVM 的时间复杂度为 $O(dn^2)$ 或 $O(dn^3)$为 e1071 使用的libsvm。

随机森林使用独立的决策树。拟合每棵树的计算成本很低（这是我们集成树的原因之一），如果树的数量较多，它会更慢，但它们可以并行拟合。 time complexity 是 $O(n\log(n)dk)$。

SVM 的扩展性比随机森林差，通常不建议用于较大的数据集。