一、learning map
图中的蓝色部分是数据训练的几种情景（Senario）。包括半监督学习（semi-supervised Learning）、迁移学习（Transfe Learning）、无监督学习（Unsupervised Learning）、强化学习（Reinforcement Learning）。在有数据的情况下，监督学习和半监督学习是最好的。强化学习往往是没数据的情况下迫不得已的行为。因此什么样的情景选择，依据什么样的数据来的。
图中红色部分以及包含在其中的绿色部分代表Task以及面对这些task可以提供的model方案，包括Regression（回归）、classification（分类）、structure Learning（结构学习）。三者分别输出的是scalar、options、structured object。三者各自分别包含【logistics regression、DL regression、linear regression】【linear model、Non-linear Model（DL learning、SVM、Decision tree、KNN）】【random forest tree、xgboost】等。
二、supervised learning
这种方法需要我们告诉机器，什么是input、什么是output。以此为基础寻找一个function，这一function的output叫做label。是人工标注得到的，需要大量的people effort。
1、regression
这种task是用过去的数据拟合出一个function后，给出一个output，具体为scalar数值。
2、classification
（1）binary classification
这种task是寻找一个function，output是yes 或者 no两个答案。比如G-mail的spam filtering（垃圾邮件过滤）。输入是邮件，输出yes（是垃圾邮件）或者no（不是垃圾邮件）。
（2）multiple classification
这种task是寻找一个function，output是对给出的每个种类进行选择。最终确定一个权重较高的种类作为其最终的判断种类。比如document classification（新闻文章分类），输入一则新闻，后再对该新闻分类。
3、model（function set）选择模型
选择不同的dataset决定了不同的model，model分为很多种：
linear model（最简单的模型）
non-linear model（非线性模型）——包括dl、SVM、decision tree、knn
三、semi-supervised learning
该例子——识别猫狗图片。
有些没有标注是猫还是狗的图片对semi-supervised learning 也是有帮助的。
四、transfer learning
识别猫狗的例子中。若图片中除了猫狗的图片还包括大量的无关图，这些无关图有些有label，有些无label。故transfer learning是勇于解决这些无关图对我们的研究有何价值的问题。
五、unsupervised learning
无监督学习目的是让机器识别和浏览大量的图片或数据，然后在完全没有给label的情况下，让机器学会做某种事情，或者作出某种预测。
六、structure learning
在classification问题中，机器输出的只有一个选项。在structure类的problem里，机器输出的是一个复杂的结构。
如语音识别，input是一个语音信号，output是一个句子。句子是一个复杂的结构，是一个有结构的object（对象）。
如机器翻译、人脸识别。输出的也是一个名字（不同的人的名称）。
GAN也是structure learning的一种方法。
七、reinforcement learning
对比supervised learning，我们可以这样理解reinforcement learning：
supervised learning就是learning from teacher（跟着教师学习）
reinforcement learning：我们没有告诉机器正确答案是什么，机器只能得到一个分数，只能知道自己好还是不好。类似真实世界中的学习，只能知道自己学的好还是不好，而没有正确答案。这叫learning from critics。
例如训练一个聊天机器人，客户突然挂掉电话。这说明机器刚刚说错话了，但机器不知道具体说错了什么。进而回去反思，是开头没有打招呼还是中间骂了客户。