Multiple Features(多特征)

Lesson2 Liner Regression with multiple variables(多变量的线性回归)

Lesson2 Liner Regression with multiple variables(多变量的线性回归)是指训练集中第i个训练样本的第j个特征(标量);Lesson2 Liner Regression with multiple variables(多变量的线性回归)是训练集中第i个输入特征(向量)。

Example:

Lesson2 Liner Regression with multiple variables(多变量的线性回归)Lesson2 Liner Regression with multiple variables(多变量的线性回归)

Hypothesis:

以前:Lesson2 Liner Regression with multiple variables(多变量的线性回归)

现在:Lesson2 Liner Regression with multiple variables(多变量的线性回归)

定义Lesson2 Liner Regression with multiple variables(多变量的线性回归)

Lesson2 Liner Regression with multiple variables(多变量的线性回归)

Lesson2 Liner Regression with multiple variables(多变量的线性回归)

代价函数(cost function):

Lesson2 Liner Regression with multiple variables(多变量的线性回归)

梯队下降法(Gradient descent):

以前:Lesson2 Liner Regression with multiple variables(多变量的线性回归)(n=1)

现在:Lesson2 Liner Regression with multiple variables(多变量的线性回归)(n>=1)  -->多元线性回归的梯度下降算法

特征缩放(feature scaling):

idea(实现思想):使不同特征缩小至相近范围

Lesson2 Liner Regression with multiple variables(多变量的线性回归)让每一个特征缩小至统一相近范围:一般减去平均值然后除以标准差或最大最小值之差(均值归一化)

均值归一化(mean normalization):

Lesson2 Liner Regression with multiple variables(多变量的线性回归)替代Lesson2 Liner Regression with multiple variables(多变量的线性回归),这样特征值就具有为0的平均值(tips:不将此实施在Lesson2 Liner Regression with multiple variables(多变量的线性回归))

Lesson2 Liner Regression with multiple variables(多变量的线性回归)

学习率Lesson2 Liner Regression with multiple variables(多变量的线性回归)

Lesson2 Liner Regression with multiple variables(多变量的线性回归)Lesson2 Liner Regression with multiple variables(多变量的线性回归)

在选择Lesson2 Liner Regression with multiple variables(多变量的线性回归)取值:...,0.001,0.003,0.01,0.03,0.1,0.3,1,...

Polynomial regression(多项式回归):

Lesson2 Liner Regression with multiple variables(多变量的线性回归)tips:注意归一化

normal equation(正规方程):

这是一个求解Lesson2 Liner Regression with multiple variables(多变量的线性回归)的解析算法,对比梯度下降法,可以一次性求解Lesson2 Liner Regression with multiple variables(多变量的线性回归)的最优值。

Lesson2 Liner Regression with multiple variables(多变量的线性回归)注意Lesson2 Liner Regression with multiple variables(多变量的线性回归)不一定可逆(奇异或退化矩阵),matlab/octave使用pvin()函数可能求解的是伪逆矩阵。

 

对不可逆情况的处理:找到无关的多余特征并删除,这将解决不可逆问题。

 

 

 

 

 

 

 

相关文章:

  • 2022-12-23
  • 2022-01-26
  • 2021-07-04
  • 2022-12-23
  • 2022-01-21
  • 2021-11-26
  • 2021-09-12
猜你喜欢
  • 2021-11-18
  • 2021-10-17
  • 2022-12-23
  • 2021-09-01
  • 2021-07-13
  • 2021-10-04
  • 2021-06-19
相关资源
相似解决方案