训练神经网的过程可以分为以下三个步骤：
1、定义神经网络的结构和前向传播的输出结果
2、定义损失函数以及选择反向传播优化算法
3、生成会话（tf.Session）并且在训练数据上反复运行反向传播优化算法
神经网络的结构：
目前主流的神经网络都是分层的结构，第一层是输入层，代表特征向量中每一个特征的取值。同一层的节点不会相互连接，而且每一层只和下一层连接，直到最后一层作为输出层得到计算结果。在输入层和输出层之间的神经网络叫做隐藏层，一般一个神经网络的隐藏层越多，这个神经网络越深。而所谓深度学习中的“深度”和神经网络的层数也是密切相关的。
前向传播：
损失函数：
神经网络模型的效果以及优化的目标是通过损失函数来定义的。
经典损失函数：交叉熵 交叉熵刻画了两个概率分布之间的距离，他是分类问题中使用比较广的一种损失函数，也就是说交叉熵越小，两个概率分布越接近。
自定义损失函数
反向传播优化算法：
反向传播算法是训练神经网络的核心算法，它可以根据定义好的损失函数优化神经网络中参数的取值，从而使神经网络模型在训练数据集上的损失函数达到一个较小值。神经网络模型中的参数优化过程直接决定了模型的质量，是使用神经网络时非常重要的一步。