【此为本人学习吴恩达的机器学习课程的笔记记录，有错误请指出！】
当我们运用训练好了的模型来预测未知数据的时候发现有较大的误差，下一步可以做什么？
获得更多的训练实例——通常是有效的， 但代价较大， 下面的方法也可能有效， 可考虑先采用下面的几种方法：
1.尝试减少特征的数量
2.尝试获得更多的特征
3.尝试增加多项式特征
4.尝试减少正则化程度????
5.尝试增加正则化程度????
我们不应该随机选择上面的某种方法来改进我们的算法，而是运用一些机器学习诊断法来帮助我们知道上面哪些方法对我们的算法是有效的。
评估一个假设（假设函数）
为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用 70%的数据作为训练集，用剩下 30%的数据作为测试集：
测试集评估在通过训练集让模型学习得出其参数后，对测试集运用该模型，有两种方式计算误差：
1.对于线性回归模型，直接利用测试集数据计算代价函数 ???? （对连续值计算误差）
2.对于逻辑回归模型，除了可以利用测试数据集来计算代价函数外：
误分类的比率，对于每一个测试集实例，计算（对离散值计算误分类比率）：
然后对计算结果求错误分类的比率。
注意：对于线性回归来说，并不是要判定预测值是否等于真实值，所以只需要计算误差即可，但是对于逻辑回归来说，预测的分类结果，要么正确，要么错误，所以要计算误分类比率。
模型选择和交叉验证集
假设我们要在 10 个不同次数的二项式模型之间进行选择：
显然越高次数的多项式模型越能够适应我们的训练数据集，但是适应训练数据集并不代表着能推广至一般情况，我们应该选择一个更能适应一般情况的模型。所以需要使用交叉验证集来帮助选择模型。
即：使用 60%的数据作为训练集，使用 20%的数据作为交叉验证集，使用 20%的数据作为测试集：
模型选择的方法为：
1. 使用训练集训练出 10 个模型
2. 用 10 个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）
3. 选取代价函数值最小的模型
4. 用步骤 3 中选出的模型对测试集计算得出推广误差（代价函数的值）
总结：
训练集：用于训练模型
交叉验证集：用于选择模型
测试集：用于判定模型效果
诊断偏差和方差
当运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：要么是偏差比较大（欠拟合），要么是方差比较大（过拟合）。
我们通常通过将训练集和交叉验证集的代价函数误差与多项式的次数（相当于增加特征）绘制在同一张图表上来帮助分析：
如果交叉验证集误差较大，如何判断是方差还是偏差呢？根据上面的图表，我们知道:
训练集误差和交叉验证集误差近似时：偏差/欠拟合
交叉验证集误差远大于训练集误差时： 方差/过拟合
正则化和偏差/方差
在训练模型的过程中，一般会使用一些正则化方法来防止过拟合。但是可能出现正则化的程度太高或太小了， 即在选择 λ 的值时也需要思考与刚才选择多项式模型次数类似的问题。
我们选择一系列的想要测试的 ???? 值，通常是 0-10 之间的呈现 2 倍关系的值（如：0,0.01,0.02,0.04,0.08,0.15,0.32,0.64,1.28,2.56,5.12,10共 12 个）。我们同样把数据分为训练集、交叉验证集和测试集。
选择????的方法为：
1.使用训练集训练出 12 个不同程度正则化的模型
2.用 12 个模型分别对交叉验证集计算的出交叉验证误差
3.选择得出交叉验证误差最小的模型
4.运用步骤 3 中选出模型对测试集计算得出推广误差。
我们也可以同时将训练集和交叉验证集模型的代价函数误差与 λ 的值绘制在一张图表上：
• 当 ???? 较小时，训练集误差较小（过拟合）而交叉验证集误差较大
• 随着 ???? 的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加
学习曲线
学习曲线就是一种很好的工具，学习曲线是用来判断某一个学习算法是否处于偏差、方差问题。学习曲线是学习算法的一个很好的合理检验（ sanity check）。学习曲线是将训练集误差和交叉验证集误差作为训练集实例数量（ ????）的函数绘制的图表。
高偏差/欠拟合：
随着训练数据的增加，训练集误差也增加，交叉验证集误差减小，但是这两个误差都比较高，且比较接近。
也就是说在高偏差/欠拟合的情况下，增加数据到训练集不一定有帮助。
高方差/过拟合：
随着训练数据的增加，训练集误差也增加，交叉验证集误差减小，但是训练集误差较低，交叉验证集误差较高，且这两个误差相差较远。
也就是说在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果。
决定下一步做什么
让我们来看一看在什么情况下应该怎样选择：
1. 获得更多的训练实例——解决高方差
2. 尝试减少特征的数量——解决高方差
3. 尝试获得更多的特征——解决高偏差
4. 尝试增加多项式特征——解决高偏差
5. 尝试减少正则化程度 λ——解决高偏差
6. 尝试增加正则化程度 λ——解决高方差
神经网络的方差和偏差：
使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合。
但使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算代价比较大，但是可以通过正则化手段来调整而更加适应数据。
通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好。
对于神经网络中的隐藏层的层数的选择，通常从一层开始逐渐增加层数，为了更好地作选择，可以把数据分为训练集、交叉验证集和测试集，针对不同隐藏层层数的神经网络训练神经网络， 然后选择交叉验证集代价最小的神经网络。