深度学习是一种思想,一种学习模式,深度神经网络是一类模型,两者在本质上是不一样的。但目前大家普遍将深度神经网络认为就是深度学习。
深度神经网络应用之前,传统的计算机视觉、语音识别方法是把特征提取和分类器设计分开来做,然后在应用时再合在一起,比如如果输入是一个摩托车图像的话,首先要有一个特征表达或者特征提取的过程,然后把表达出来的特征放到学习算法中进行分类的学习。
因为手工设计特征需要大量的经验,需要你对这个领域和数据特别了解,然后设计出来特征还需要大量的调试工作,说白了就是需要一点运气。另一个难点在于,你不只需要手工设计特征,还要在此基础上有一个比较合适的分类器算法。特征设计与分类器设计,这两者合并达到最优的效果,几乎是不可能完成的任务。
2012年后,深度神经网络给计算机视觉、语音识别、自然语言处理等领域带来了突破性的进展,在人脸识别、机器翻译等应用的准确率接近甚至超过了人类的水平。
深度神经网络最重要的是表示学习的能力,你把数据从一端扔进去,模型从另外一端就出来了,中间所有的特征完全可以通过学习自己来解决,而不再需要手工去设计特征了。其表示学习的能力主要体现在以下两点:
【1】深度逐层处理 我们如果把神经网络看作很多层,首先它在最底层,好像我们看到的是一些像素这样的东西。当我们一层一层往上的时候,慢慢的可能有边缘,再往上可能有轮廓,甚至对象的部件等等。当然这实际上只是个示意图,在真正的神经网络模型里面不见得会有这么清楚的分层。但是总体上当我们逐渐往上的时候,它确实是不断在对对象进行抽象。这一点也被业界研究者普遍接受。
【2】特征空间变换 深度逐层处理不仅仅深度神经网络具备,决策树、boosting类的算法也都具备。但深度神经网络每层之间存在特征空间的变换(通常是非线性的变换),把某个较低级别的特征表示表示成更加抽象的特征;决策树和boosting类算法各层之间都是在原始的特征空间中进行,没有进行特征的内部变换。
上述几点是深度神经网络的思想精髓所在,这一思想精髓,或许会指导后续一大批新的模型出现,比如南京大学周志华教授团队提出的gcForest(深度森林)。
深度神经网络的思想精髓是如何一步一步地通过数学模型以及算法实现的呢,以及在同一个任务上,传统机器学习方法与深度神经网络的效果又如何?专注于人工智能在线教育的深蓝学院联合中科院自动化所博士、资深算法工程师推出第4期『深度学习:从理论到实践』在线直播课程。课程在详细讲述深度学习理论的同时,通过场景分割、行为识别两大实践任务,熟悉深度学习模型解决实际问题的流程,掌握深度学习训练以及实战中的技巧。
课程特色
1. 在线直播授课,微信群长期实时答疑;
2. 课件、资料和代码,均提前公开;
3. 精心设计课后作业,并批改评分;
4. 评选优秀学员,推荐实习就业。
课程目录(内容)
一、 深度学习理论(6学时)
1. 前馈神经网络
1.1 概述
1.2 单层神经网络
1.3 多层神经网络
2. 卷积神经网络
2.1 基本概念
2.2 发展历程
2.3 网络特点
2.4 网络设置
2.5 网络训练以及相关应用
二、 实践:基于深度网络的场景分割(6学时)
3. 深度学习框架Caffe入门
3.1 Caffe简介
3.2 安装和配置
3.3 优点与局限性分析
3.4 Caffe调试
4. 场景分割介绍及传统方法概述
4.1 场景分割背景介绍
4.2 传统方法介绍
(1)分水岭算法
(2)基于图论的图像分割
(3)马尔科夫随机场与条件随机场
4.3 传统场景分割代码实践
4.4 经典深度场景分类网络介绍及CNN
网络设计潜规则
5. 基于深度网络的场景分割方法概述与实践
5.1 从深度场景分类到场景分割
5.2 主流方法介绍:从FCN到Mask-RCNN
5.3 场景分割网络设计: 从数据层到损失层
5.4 代码实践:从训练到测试
5.5 深度场景分割方法与传统方法对比
三、 深度学习常见模型与Keras实践(4学时)
6. 深度残差网络和Highway网络
6.1 Keras简介与安装配置
6.2 传统深度神经网络的局限性
6.3 从Highway到ResNet到DenseNet
6.4 Keras代码实践
(1)Keras实现全连接网络、卷积网络等
基础网络
(2)Keras实现Highway层
(3)Keras实现残差网络
习题:DenseNet来解决图像分类问题实践
7. 自动编码器与GAN
7.1 深度无监督学习知识回顾
7.2 自动编码器及其变种
7.3 从自动编码器到生成对抗网络
7.4 Keras代码实践
(1)Keras实现自动编码器、稀疏自动编码
器等基础算法
(2)Keras实现生成对抗网络
(3)Keras实现条件GAN
习题:去噪自动编码器来解决图像去噪问题实践
四、实践:基于深度网络的行为识别(4学时)
8. 行为识别概述与传统方法实践
8.1 问题描述及研究意义
8.2 发展脉络及主要研究组
8.3 传统行为识别方法
(1)时空特征提取
(2)时空特征编码
(3)动作识别算法
8.4 代码实践:传统行为识别方法
8.5 深度网络行为识别引入及讨论
9. 基于深度网络的方法概述与实践
9.1 深度网络行为识别方法综述
9.2 基于三维时空网络的行为识别方法
9.3 基于双流时空网络的行为识别方法
9.4 数据集介绍及参数分析
9.5 代码实践:深度网络主流算法
9.6 主流方法与传统方法的对比
讲师介绍
宫博
资深算法工程师,中国科学院自动化研究所博士,在计算机视觉与人工智能领域具有近六年的研究经历。攻读博士学位期间主要研究方向是模式识别与图像处理,团队成员在领域顶级会议期刊 ICCV、TNNLS、TIP等发表论文20多篇,参加全国视频图像分析技术挑战赛,获得目标检测识别第二名,熟练掌握并应用深度学习Keras框架和Caffe框架。目前主要负责计算机视觉与人工智能方面的算法研发工作。
奖学金计划
课程时间
1. 5月6日-6月10日,每周末晚7点-9点;
2. 课程限报 300 人,报满为止;
3. 前200名报名者赠送『Python基础入门』课程,详情咨询深蓝学院助教。
报名
添加工作人员「深蓝学院助教志泽」微信报名
微信号:igal-shenlan