1. Dropout技术：在训练深度学习网络的过程中，按照一定概率将一部分神经网络单元丢弃掉，即从原始的网络中找出一个更瘦的网络。
2. 机器学习主流的学习算法分为无监督学习和监督学习。
3. 监督学习下的回归问题主要预测连续值得输出，而分类问题预测离散值的输出。
4. m：训练样本的数量
x：输入变量/特征
y：输出变量/预测的目标变量
（x，y）表示一个训练样本，用（x^(i)，y^(i)）表示特定的第i个训练样本
5. “Batch”梯度下降算法每一步的梯度下降都遍历了整个训练集，因为计算了整个训练集的导数和。而别的梯度下降算法只关注了训练集的小子集。
6. 多元梯度下降算法为了更快的下降，需要对特征值进行缩放，一般是Xi = （Xi-平均值）/ （范围最大值-最小值）
7. 求代价函数的最小值通常有梯度下降法和正规方程法求得参数的最优解。正规方程法不需要特征缩放。