1、之前讲到随机梯度下降法(SGD),如果每次将batch个样本输入给模型,并更新一次,那么就成了batch梯度下降了。

2、batch梯度下降显然能够提高算法效率,同时相对于一个样本,batch个样本更能体现样本的总体分布。

3、但是也不是batch越大越好,容易陷入鞍点(横看最小,侧看最大);batch小的话增加了随机性,不容易陷入鞍点。

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-05-25
  • 2021-10-20
  • 2022-03-01
  • 2021-11-12
  • 2022-02-27
猜你喜欢
  • 2022-12-23
  • 2021-12-06
  • 2021-08-05
  • 2021-11-04
  • 2022-12-23
  • 2021-11-12
相关资源
相似解决方案