Regression: Output a scalar
回归算法就是通过测试数据训练出，实验数据通过
可以预测数合理的数值结果。
常用的场景有：股市预测领域，道琼斯工业指数预测；无人驾驶领域，在某种情形下汽车方向盘的偏转角度；营销领域，客户是否购买预测；Pokemon游戏中宠物进化后的CP值预测等等。
以Pokemon游戏为例
step 1 假设模型为线性模型： ，其中
，
，
step 2 函数优劣评判标准Loss Function， <=>
step 3 找到最优的函数，
<=>
Gradient Descent：梯度下降法
可以通过梯度下降法解决计算问题，通过对w和b分别求偏微分，逐步演进，最终得到最优函数的w和b的值，从而得到
梯度下降算法的局限性，世上没有万能的方法，梯度下降算法在某些情况下会失灵，会陷入鞍点和局部最小。但一般情况下梯度下降算法还是有用的。
尝试其他的线性模型
但是根据结果测试数据的结果发现，并没有越来越好，出现了过度拟合（overfitting），网上有一张图很形象的说明了什么是过拟合和欠拟合。
解决欠拟合或过拟合的思路
1、增减模型的参数维度。如利用线性回归预测房屋价格的例子中，增加“卧室数量”，“停车位数量”，“花园面积”等维度以解决欠拟合，或相应的减少维度去解决过拟合。
2、增减多项式维度，比如将加入高阶多项式来更好地拟合曲线，用以解决欠拟合，或者降阶去处理过拟合。
3、调整Regularization Parameter。在不改变模型参数维度和多项式维度的情况下，单纯的调整Regularization Parameter同样可以有效改变模型对数据的拟合程度。
对Loss Function进行正则化，可以使得函数更加的平滑，这样的函数更有可能是最优的。