1.1 感知器
感知器在 20 世纪五、六⼗年代由科学家 Frank Rosenblatt 发明，其受到 Warren McCulloch 和 Walter Pitts 早期的工作的影响。今天，使用其它人工神经元模型更为普遍 —— 在这本书中，以及更多现代的神经网络工作中，主要使用的是一种叫做 S 型神经元的神经元模型。
1.2 S 型神经元
S 型神经元和感知器类似，但是被修改为权重和偏置的微小改动只引起输出的微小变化。
1.3 神经网络的架构
有些令人困惑的是，由于历史的原因，尽管是由 S 型神经元而不是感知器构成，这种多层网络有时被称为多层感知器或者 MLP。
1.4 一个简单的分类手写数字的网络
我们将使用一个三层神经网络来识别单个数字：
1.5 使用梯度下降算法进行学习
数据集：MNIST数据集
代价函数：
梯度下降：
随机梯度下降：