一、 第一周 ： 深度学习引言
1.1 欢迎(Welcome)
什么是深度学习，深度学习能做些什么事情？
1. 深度学习改变了传统互联网业务，例如如网络搜索和广告。
2. 深度学习同时也使得许多新产品和企业以很多方式帮助人们，从获得更好的健康关注。
应用：
一个方面就是读取 X 光图像，到生活中的个性化教育，到精准化农业，甚至到驾驶汽车以及其它一些方面。如果你想要学习深度学习的这些工具，并应用它们来做这些令人窒息的操作
AI 是最新的电力，大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了 AI 明显的令人惊讶的能量，带来了同样巨大的转变。显然，AI 的各个分支中，发展的最为迅速的就是深度学习。因此现在，深度学习是在科技世界中广受欢迎的一种技巧。
1.2 什么是神经网络？(What is a Neural Network)
我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神
经网络训练。
神经网络究竟是什么呢？
举例一：房价预测的例子（单神经元网络一：一个X房屋的面积 预测一个Y房屋价格）
假设你有一个数据集，它包含了六栋房子的信息。
所以，你知道房屋的面积是多少平方英尺或者平方米，并且知道房屋价格。这时，你想要拟合一个根据房屋面积预测房价的函数。如果你对线性回归很熟悉，你可能会说：“好吧，让我们用这些数据拟合一条直线。”于
是你可能会得到这样一条直线。
价格永远不会是负数的。因此，为了替代一条可能会让价格为负的直线，我们把直线弯曲一点，让它最终在零结束。这条粗的蓝线最终就是你的函数，用于根据房屋面积预测价格。有部分是零，而直线的部分拟合的很好。你也许认为这个函数只拟合房屋价格。
作为一个神经网络，这几乎可能是最简单的神经网络。我们把房屋的面积作为神经网络的输入（我们称之为x），通过一个节点（一个小圆圈），最终输出了价格（我们用????表示）。其实这个小圆圈就是一个单独的神经元。
在有关神经网络的文献中，你经常看得到这个函数。从趋近于零开始，然后变成一条直线。这个函数被称作 ReLU **函数，它的全称是 Rectified Linear Unit。rectify（修正）可以理解成max(0,x)，这也是你得到一个这种形状的函数的原因。
举例二：
我们不仅仅用房屋的面积来预测它的价格，现在有了一些有关房屋的其它特征，比如卧室的数量，或许有一个很重要的因素，一家人的数量也会影响房屋价格，而这确实是基于房屋大小，以及真正决定一栋房子是否能适合你们家庭人数的卧室数。换个话题，你可能知道邮政编码或许能作为一个特征，告诉你步行化程度。比如这附近是不是高度步行化，你是否能步行去杂货店或者是学校，以及你是否需要驾驶汽车。有些人喜欢居住在以步行为主的区域，另外根据邮政编码还和富裕程度相关（在美国是这样的）。
但在其它国家也可能体现出附近学校的水平有多好。
在图上每一个画的小圆圈都可以是 ReLU 的一部分，也就是指修正线性单元，或者其它稍微非线性的函数。基于房屋面积和卧室数量，可以估算家庭人口，基于邮编，可以估测步行化程度或者学校的质量。最后你可能会这样想，这些决定人们乐意花费多少钱。
对于一个房子来说，这些都是与它息息相关的事情。在这个情景里，家庭人口、步行化程度以及学校的质量都能帮助你预测房屋的价格。以此为例，x 是所有的这四个输入，y是你尝试预测的价格，把这些单个的神经元叠加在一起，我们就有了一个稍微大一点的神经网络。这显示了神经网络的神奇之处，虽然我已经描述了一个神经网络，它可以需要你得到房
屋面积、步行化程度和学校的质量，或者其它影响价格的因素。
神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入x，就能得到输出y。
值得注意的是神经网络给予了足够多的关于????和????的数据，给予了足够的训练样本有关x和y。神经网络非常擅长计算从x到y的精准映射函数。这就是一个基础的神经网络。
1.3 神经网络的监督学习(Supervised Learning with Neural Networks)
如今应用深度学习获利最多的一个领域，就是在线广告。这也许不是最鼓舞人心的，但真的很赚钱。
计算机视觉在过去的几年里也取得了长足的进步，这也多亏了深度学习。你可以输入一个图像，然后想输出一个索引，范围从 1 到 1000 来试着告诉你这张照片，它可能是，比方说，1000 个不同的图像中的任何一个，所以你可能会选择用它来给照片打标签。
深度学习最近在语音识别方面的进步也是非常令人兴奋的，你现在可以将音频片段输入神经网络，然后让它输出文本记录。得益于深度学习，机器翻译也有很大的发展。你可以利用神经网络输入英语句子，接着输出一个中文句子。
在自动驾驶技术中，你可以输入一幅图像，就好像一个信息雷达展示汽车前方有什么，据此，你可以训练一个神经网络，来告诉汽车在马路上面具体的位置，这就是神经网络在自动驾驶系统中的一个关键成分。
网络应用
对于图像应用，我们经常在神经网络上使用卷积（Convolutional Neural Network），通常缩写为 CNN。
对于序列数据，例如音频，有一个时间组件，随着时间的推移，音频被播放出来，所以音频是最自然的表现。作为一维时间序列（两种英文说法 one-dimensional timeseries / temporal sequence）.对于序列数据，经常使用 RNN，一种递归神经网络（RecurrentNeural Network），语言，英语和汉语字母表或单词都是逐个出现的，所以语言也是最自然的序列数据，因此更复杂的 RNNs 版本经常用于这些应用。
对于更复杂的应用比如自动驾驶，你有一张图片，可能会显示更多的 CNN 卷积神经网络结构，其中的雷达信息是完全不同的，你可能会有一个更定制的，或者一些更复杂的混合的神经网络结构。所以为了更具体地说明什么是标准的 CNN 和 RNN 结构，在文献中你可能见过这样的图片，这是一个标准的神经网络。
这是一个卷积神经网络的例子。
卷积网络(CNN)通常用于图像数据。
递归神经网络(RNN)非常适合这种一维序列，数据可能是一个时间组成部分。
你可能也听说过机器学习对于结构化数据和非结构化数据的应用，结构化数据意味着数据的基本数据库。例如在房价预测中，你可能有一个数据库，有专门的几列数据告诉你卧室
的大小和数量，这就是结构化数据。或预测用户是否会点击广告，你可能会得到关于用户的
信息，比如年龄以及关于广告的一些信息，然后对你的预测分类标注，这就是结构化数据，
意思是每个特征，比如说房屋大小卧室数量，或者是一个用户的年龄，都有一个很好的定义。
相反非结构化数据是指比如音频，原始音频或者你想要识别的图像或文本中的内容。这
里的特征可能是图像中的像素值或文本中的单个单词。