常规套路
- 手机数据并给定标签
- 训练一个分类器
- 测试，评估
K-近邻算法
对于不同参数的选择，会对结果产生不同的影响。
如何计算：
k-近邻
- 选取超参数的正确方法是：将原始训练集分为训练集和验证集，我们在验证集上尝试不同的超参数，最后保留表现最好的那个。
- 如果训练数据集不够，使用交叉验证方法，它能帮助我们在选取最优超参数的时候减少噪音
- 一旦找到最优的超参数，就让算法以该参数在测试集跑且只跑一次，并根据测试结果评价算法。
- 最近邻分类器能够在cifar-10上得到将近40%的准确率。该算法简单易实现，但需要存储所有训练数据，并且在测试的时候过于耗费计算能力。
‘k-近邻 ：never-used
得分函数
加B 就是一个偏执项
stretch pixels into single column
将像素拉伸成单列
softmax 损失值
损失函数值越大，说明效果越不好。损失函数值越小越好。
梯度下降 ###
实质求偏导
Batchsize 批处理
学习率的使用
一般学习率，都会调节的比较低。刚开始学习率可以大一些，随着迭代次数，可以越来越小。
反向传播
神经网络一般分为三部分： 前向传播，反向传播，参数更新
说白了前向传播。就是输入数据经过神经网络的很多层，然后得出loss
反向传播就是通过loss 去预测前面层中的参数是否正确，是否需要调整。
实时更新
加法门单元： 均等分配
MAX门单元： 给最大值
乘法门单元：互换的感觉