【问题标题】:Why stochastic gradient descent does not support non-linear SVM为什么随机梯度下降不支持非线性 SVM
【发布时间】:2017-08-03 20:28:30
【问题描述】:

我读到 SGD 支持线性 SVM,但不支持非线性 SVM。这是为什么?我正在研究非线性 SVM 的成本函数。它的开头确实有一个“和”符号。

【问题讨论】:

  • 你需要一个来源而不是说“我读过”
  • 我是从维基百科上读到的。 en.wikipedia.org/wiki/Stochastic_gradient_descent 。我还发现 Apache Spark 等 ML 库不提供 SVM 与 SGD 训练功能。
  • 你能把你读到的东西和在哪里看吗?请具体。
  • 下面是 Goodfellow 等人的“深度学习”中的相关引文:“在深度学习出现之前,学习非线性模型的主要方法是使用核技巧与线性模型。很多核学习算法需要构造一个 m × m 矩阵 G(i,j) = k(x (i), x (j))。构造这个矩阵的计算成本为 O(m^2),显然不适合具有数十亿示例的数据集。”这里 m 是示例数,x(i) 是第 i 个示例。

标签: machine-learning svm


【解决方案1】:

请阅读默瑟定理。也许,它会带来一些启示!

【讨论】:

  • 它与求解器无关。 Mercer Theorem 说明了什么是 SVM 的有效内核。不可以使用GD。
猜你喜欢
  • 1970-01-01
  • 2020-09-17
  • 2016-05-16
  • 2016-06-13
  • 2012-12-10
  • 2019-05-18
  • 1970-01-01
  • 2018-10-24
  • 2016-09-25
相关资源
最近更新 更多