问题:宝可梦cp值预测

step1:线性模型,输入feature为上一代的cp值

机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

 step2: Loss Function(均方误差)

机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

 参数w和b取不同值时的均方误差,紫色代表误差很小,红色代表误差很大:

机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

 

step 3: Loss Function最小化(Gradient Descent),得到Best Function,可看作得到最优参数。

 机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

 梯度下降:梯度是上升最快的方向,负梯度就是下降最快的方向:

机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

 增加线性回归的阶数,模型更复杂,对于训练集的学习也更准确。

机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

 

 更复杂的模型在training data 上表现更好,但是在testing data上不一定,可能会发生Overfitting!!!

机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

模型改进:Redesign the model,包括特征选择,模型复杂度设置等

机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

Loss Function改进:增加正则项,使模型更加smooth

 机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

随着正则项权重的增大,training data的训练误差逐渐变大,testing data的预测误差先变小后变大:

 机器学习回归:宝可梦cp预测 |李宏毅机器学习【2】

 

 总结:这节课通过宝可梦的案例,直观的展示了机器学习的一般步骤,同时通过对模型进行不断改进,介绍了梯度下降(gradient descent)、过拟合(overfitting)、Regularization(正则项)等概念。

相关文章:

  • 2022-12-23
  • 2021-06-06
  • 2021-11-16
  • 2022-01-17
  • 2022-12-23
  • 2021-12-07
  • 2021-09-30
  • 2021-05-22
猜你喜欢
  • 2021-07-27
  • 2021-09-08
  • 2021-12-02
  • 2021-09-24
  • 2021-12-21
  • 2022-12-23
  • 2021-11-17
相关资源
相似解决方案