【发布时间】：2019-08-03 14:19:41
【问题描述】：
虽然我已经单独研究了这些概念，但我对是否可以选择其中一个或另一个作为解决方案感到困惑，还是可以同时使用这两个来改善结果？非常感谢您提供的任何指导。
【问题讨论】：
标签： lightgbm stochastic stochastic-process stochastic-gradient
【发布时间】：2019-08-03 14:19:41
【问题描述】：
我的理解是梯度下降的成本函数基于整个训练集，而随机梯度下降使用比整个训练集少得多的方法来逼近真实梯度的成本。
使用哪个以及何时使用的问题是基于确定是否有足够的计算能力来计算梯度的确切成本。如果有足够的计算能力和时间，那就精确计算。
如果训练集太大，随机梯度下降值得一试。两者都用于测试近似值的质量。
一般来说，我不会同时使用两者，原因与我永远不会平均一个精确值和它的近似值相同。 （例如：1=1 但 1 也大约为 0.99，因此 (1+0.99)/2 = 0.995）
【讨论】：