应用机器学习

在第六周课件中，泛化能力 (generalize) 一般指对整个样本的适应性。
还有 high bias 欠拟合，high variance 过拟合。
在应用过程中出现问题,比如：错误率有多高，和别人用相同算法的情况下，一般针对不同情况有以下应对措施：

• Get more training examples
• Try smaller sets of features
• Try getting additional features
• Try adding polynomial features
• Try decreasing $\lambda$λ
• Try increasing $\lambda$λ

Diagnostics can take time to implement, but doing so can be a very good use of your time.
就是说进行诊断是对时间最有效的利用。

数据集的分类:

• 60%训练集 （调theta）
• 20%验证集 (调整正则参数lambda)
• 20%测试集

error是根据$J(\theta)$J(θ)进行计算.
模型选择：根据$J_{test}(\theta)（测试集），J_{cv}(\theta)（验证集）$Jtest​(θ)（测试集），Jcv​(θ)（验证集），选择model。线性回归以及逻辑回归。

1. 关于d（d 指 x 的最高幂）
   
   d 很小时，模型不能很好的拟合，故而error 都很大
   d 很大时，对训练集过拟合，对测试集不行
   故而找到合适的d 来 选择模型。
   故而要找许多d来测试
   如下：

2. 关于lambda
   lambda很大欠拟合
   lambda很小过拟合
   lambda要适中
   进行选择的时候，要用一堆lambda进行验证集调参。比如：
   
   error 与 lambda 的走向
   

3. 关于m（训练集数目）
   
   过拟合走向
   
   欠拟合走向

ps：最后神经网络
小型容易欠拟合，算力要求低
大型容易过拟合，算力要求高