方差和偏差
- 偏差（bias）指的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距，简单讲就是样本拟合效果的好坏
- 方差（varience）描述的是样本上训练出来的模型在测试集/验证集上的表现
- 偏差高=欠拟合 方差高= 过拟合
- 解决高偏差的方法：采用更多隐藏层和隐藏单元的网络、延长训练时间
- 解决高方差的方法：增加数据集（比如翻转、裁剪图片）、early stopping、正则化
注意：如果出现高方差，还有可能是因为训练集和验证/测试集不满足同一分布
待补充
学习鞍点，复习上次任务学习的全局最优和局部最优
解决办法有哪些
梯度下降
学习Mini-Batch与SGD
学习Batch与Mini-Batch，SGD梯度下降的区别
如何根据样本大小选择哪个梯度下降(批量梯度下降，Mini-Batch）
写出SGD和Mini-Batch的代码
学习交叉验证
学习归一化
学习回归模型评价指标