本讲主要是根据宝可梦的cp值预测,期待的输出是一个数值,所以这是一个Regression的learn。由上一讲可知,Linear是指linear model,是function set 的类型。
根据需求,
根据需求,先按照上述步骤进行讲述。
一. 寻找suitable function
1. 先设定function set 是一个一次函数,到这里已经完成第一步。
linear model :
b : bias
w : weigth
在后续分析错误时,这些名称会被用到
2. 然后定义L(f) ——Loss function,该function用于判定function set中的函数的好坏
L(f):
3. Gradient Descent
使用偏微分的方法将L(f)的global minima 计算出来
二. 分析上述过程中会出现的各种问题
1. how to deside the function set
可以试多次,先从最简单的一次函数计算开始,逐步的将function的范围
会发现越large的function set 会得到更好的train 结果,但是到了test data 就会出现不一样的结果。
导致这个的结果我们称之为overfitting : a more complex model not lead to better performance on testint data
发生overfitting之后需要back to step 1 : Redesign the model , then step 2 Regularization : Redesign the Loss function
是一个常数,通过实验得到
在Loss function 中加上这个常数,目的就是将最后的output 比较不受 noise的影响,output更加平缓