神经网络分类器具有一组输入节点，一组隐藏处理节点和一组输出节点。如果使用tanh**功能，则隐藏节点的值通常在-1.0到+1.0之间。如果使用softmax**功能，则输出节点的值将介于0.0和1.0之间。
饱和神经网络是其中大多数隐藏节点的值都接近-1.0或+1.0且输出节点的值都接近0.0或1.0的网络。饱和不是一件好事。如果隐藏节点饱和，则意味着它们的**前积和相对较大（通常大于4.0）或较小（通常小于-4.0）。
饱和节点会导致这样一种情况，即在训练过程中输入到隐藏权重的微小变化可能不会太大地改变乘积之和，然后在**后，节点值仍将为-1.0或+1.0-换句话说，训练停滞不前或动作非常缓慢。此外，饱和模型经常过拟合-意味着该模型在训练数据上预测良好，而在新的，看不见的数据上预测较差。
如下两个就是可能出现饱和的**函数：