人到40，挑战一下我是否还有深度学习的能力。由于岁数大了，不研究技术细节。只研究，人工智能如何在宏观上，改变我们的生产效率。
写篇blog，记录一下这个历程。
在学习之前，我对AI的理解是： 以后的程序员，对于复杂的基于情景的判断，不再基于一大堆复杂的 if then else 。
例如，原来的程序要判断一个用户是否喜欢某一张照片，则需要做N多的关联性判断。
有了AI之后，则 变成 if 用户喜欢 ( face.jpg ) == 1 then { 找出更多客户希望的相似照片推荐给客户 }
学习平台： deeplearning.ai
续费，49美元。
基础数学：大学的数理统计基础。
学习设备： mac 电脑
学习环境 ： google , .coursera.org 维基百科
老师： 吴老师
吴老师，第一句话，就说清楚了deeplearning可以的一个商业用途。此用户可以通过预测你的的在线广告是否会被用户点击。这个对于公司运营MAC v*n在百度上的广告非常有用。毕竟，创意和用户需求直接存在天然的沟堑。如果通过预测，可以降低，则事倍功半。预测一个广告创意，在上线后的点击，我擦，貌似比较NB。
什么是神经网络？
神经网络由神经元构成。每一个神经元，就是一个有技术功能的函数。
一堆神经元的集合或者叠加，就变成了神经网络。例如，预测房价。房价信息可以通过地理位置、交通情况、房屋面积、需求（要住的人数等等）来预测。
吴老师提到RELU，RELU是一个线性计算方法。用得很广。现在不用管，以后会提到。
吴老师总结到 值得注意的是：神经网络只要给予足够多的资料X,就会非常好的找出函数（是不是就是神经元？）对应X到Y.\\
我的疑问：谁负责找出这个好的函数？这个函数不是自己写的吗？
Wki的定义，对于RELU：
通常意义下，线性整流函数指代数学中的斜坡函数，即
而在神经网络中，线性整流作为神经元的**函数，定义了该神经元在线性变换 之后的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量
，使用线性整流**函数的神经元会输出
至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。
找到这一篇说明RELU的。
近来的神经网络倾向于使用ReLU替代掉sigmoid函数作为隐层的**函数，它的定义如下：
f(x) = max(x,0).
当x大于0时，函数输出x，其余的情况输出为0。函数的图像是：
△来源：cs231n
使用ReLU函数的好处是，对于所有大于0的输入，导数是恒定的，这能够加快训练网络的速度。
彻底晕菜了。 导数是=dv/dt ，是一个瞬间值。越看越糊涂。给自己的作业：通过类似matlab的数学软件Grapher，了解清除什么是RELU函数。
MAC版的GRAPHER的函数调用教程在：MAC GRAPHER的函数说明
我去，一堆数学。
线性回归，也就是拟合。给定线性的Y1,Y2,Y,找到一个f(x)，使得f(x)的值，和Y1,Y2,...YN无限逼近。
算法有：线性回归