神经元模型、**函数、神经网络的复杂度

一、神经元模型                                                                                                                                       点击此处返回总目录 二、**函数 三、神经网络的复杂度           一、神经元模型 我们在前面，用到的前向传播网络的神经元是由这样的神经元组成的。输入乘以权重再求和，可以用后面的数学公式表示。               在1943年，心理学家McCulloch和数学家Pitts，参考生物学神经元结构，提出了神经元模型：            他们的模型与我们上节课的模型相比，多了偏置项bias和**函数f。可以用后面的数学公式表示。我们以后用到的神经网络都会以这个神经元模型为基本单元，首尾相接，构成神经网路。   二、**函数 引入的**函数可以有效避免，仅使用线性组合，提高了模型的表达力，是模型具有更好的区分度。 常用的**函数有relu、sigmoid、tanh等，下图是他们对应的数学表达式，图形，在TensorFlow中的表示。             三、神经网路的复杂度 神经网络的复杂度通常使用神经网络的层数和神经网络中待优化参数的个数来表示。   我们在计算神经网络的层数时，只计算具有运算能力的层。输入层只把数据传输过来，没有运算，所以在计算神经网络层数时，是不计算输入层的。层数应该为隐藏层的层数+1个输出层。比如，下面的图，隐藏层是第一层网络，输出层是第二层网络 。这个神经网络是2层的。   参数的个数是所有的W和所有的b的总和。如下图，第一个是3行4列的W，加上4个偏置；第二个是4行2列的W，加上2个偏置。 一共是（3*4+4）+（4*2+2）=26。