数据预处理

数据去均值
ML笔记 - 神经网络训练技巧

**函数选择

优先使用ReLU,尝试Leaky ReLU / Maxout / ELU,少用Sigmoid
ML笔记 - 神经网络训练技巧

权重初始化

不同的初始方法下,随迭代轮次,损失的变化
ML笔记 - 神经网络训练技巧

学习率与批样本大小

不同批样本数量对于训练的影响
ML笔记 - 神经网络训练技巧

不同大小的学习率下,神经网络的训练损失变化
ML笔记 - 神经网络训练技巧

损失函数与优化器

ML笔记 - 神经网络训练技巧

不同优化方法下,loss的变化
ML笔记 - 神经网络训练技巧

超参数调优

ML笔记 - 神经网络训练技巧

批规范化处理 / Batch Normalization

Batch Normalization对于结果的影响
ML笔记 - 神经网络训练技巧

相关文章:

  • 2021-11-14
  • 2021-09-23
  • 2022-12-23
  • 2021-08-02
  • 2021-11-23
  • 2021-11-30
  • 2021-06-21
猜你喜欢
  • 2021-04-18
  • 2021-09-27
  • 2021-05-18
  • 2021-05-12
  • 2021-10-03
  • 2021-11-09
相关资源
相似解决方案