机器学习入门——神经网络

问题引入

实际问题中，往往数据的特征数量很大，要使用线性方法，使用一些多项式拟合这样的数据很困难。我们得想办法使用非线性的算法解决这些问题。

神经网络

下面是生物的神经元结构：

每个神经元有很多树突，用于接收外部信息；有一个轴突，用于网外传递信息。

我们可以按照这个模型将逻辑回归抽象成这样：

接收信息，通过处理（计算后）往后传递处理后的信息。注意这里的处理结果：$h_\theta(x)=\dfrac{1}{1+e^{-\theta ^TX}}$hθ​(x)=1+e−θTX1​

注意：

• 信息来自不同的节点，这些节点只提供$x$x，而$\theta$θ的值体现的传递线上。每条线都有一个参数$\theta$θ（也被叫作权重w），传递后接收的信息应该是$x_i\theta_i$xi​θi​
• 每一层都有一个$x_0$x0​，称为偏置单元（bias unit）。和之前一样，$x_0=1$x0​=1

神经网络……结构

• 神经网络可以有很多层次，其中第一层是我们的输入层，最后一层是输出层，中间的层被称为隐藏层。
• 除了输出层以外，每一层都有一个偏置单元，会往下一层的每个点连边，点值为1。
• 除了输入层以外，其它层的每个单元都需要运算。所以这些层也称为计算层。

神经网络……运算

• 我们将由一个具体神经元计算得出的结果称为**项，其中$a^{(j)}_i$ai(j)​表示第$j$j层的第$i$i个**项
• $\Theta^{(i)}$Θ(i)为第$i$i层到第$i+1$i+1层的参数矩阵，$\Theta^{(i)}_{jk}$Θjk(i)​表示从第$i$i层的第$k$k个项到第$i+1$i+1层的第$j$j个项的参数
• 显然，如果第$j$j层有$S_j$Sj​个项，第$j+1$j+1层有$S_{j+1}$Sj+1​个项，那么$\Theta^{j}$Θj为$S_{j+1}*(S_j+1)$Sj+1​∗(Sj​+1)（第$j$j层有个偏置单元）
  
  向量化这个计算过程：