1.二分分类（Binary Classification）
给定一张64*64的RGB的图片，判断图片中是否为cat（0/1）
记号（notation）
2.逻辑回归（Logistic Regression）
当输出为0或者1的二元分类的监督学习方法。用预测值去估算y=1的概率大小。使用到了sigmoid函数。
3.逻辑回归的成本函数（cost function）
4.梯度下降优化算法（Gradient Descent）
使用梯度下降优化算法去寻求w，b使得成本函数（cost function）最小。GD是一个迭代的算法。
又分为批梯度下降和随机梯度下降。优化算法还有牛顿法（通常情况下速度更快）；还有Conjugate gradient、BFGS、L-BFGS这里不表，不需要手动设置学习率，更快于GD
5.计算图（Computation Graph）
分为正向传播（forward propagation）和反向传播（backward propagation）。从左至右为正向，计算成本函数（要优化的函数）；从右至左为反向，计算偏导数（用到求导的链式法则）。
以Logistic Regression为例描述Computation Graph，假设只有两个特征x1和x2，针对一个样本：
针对整个训练集，编码实现范例：
不过该方法有个缺点：两个循环loop，比较低效。我们一般使用向量化技术（Vectorization）取代之。
无论是CPU还是GPU，它们都有SIMD的指令（单指令流多数据流），这回帮助我们消除显示for循环：