DL的小Trick

文章目录

• 1 术语
• 1.1 泛化能力(generalization)
• 1.2 [:3]这个array的index表示取array的前三个
• 2 动量(惯性, 前一个梯度的惯性)(前一个梯度和当前梯度进行平行四边形3333)
• 3 learning rate(刚开始设置大一些, 之后再搞的小一些)

1 术语

1.1 泛化能力(generalization)

1. 从这个模型, 推广到其他模型
2. 如果这个网络的参数是高次方的, 会学到一些噪声样本(因为拟合数据的能力太强了), 那么他的泛化能力就很弱
   

1.2 [:3]这个array的index表示取array的前三个

2 动量(惯性, 前一个梯度的惯性)(前一个梯度和当前梯度进行平行四边形3333)

3 learning rate(刚开始设置大一些, 之后再搞的小一些)