机器学习
机器学习早在20世纪50年代就已经很火了,它有着很长的历史,主要指的是研究如何使用机器来模拟人类学习活动的一门学科。简单的说,就是让机器具备学习能力,就叫机器学习。机器学习是实现人工智能的必经路径。
常见的机器学习算法包括:1)决策树算法2)朴素贝叶斯算法3)支持向量机算法4)随机森林算法5)人工神经网络算法6)Boosting与Bagging算法7)关联规则算法8)EM(期望最大化)算法
神经网络
神经网络如果前面没有加前缀,一般是指生物神经网络,生物神经网络指的就是动物大脑。我们的大脑由无数个(几十上百亿)神经元组成,这些神经元组成了一个极其复杂的神经网络,这个神经网络就是我们大脑的核心,人类为什么具备学习,思维及意识等,就是因为我们人类有着生物界最为强大的神经网络(即大脑)。我们有着这么强大的神经网络,自然是全球科学家都希望能够模拟的,如果能够模拟成功,那么机器也能够跟人一样,至少能够具备学习能力,于是就有了人工神经网络。
深度学习
深度学习的概念由Hinton等人于2006年提出,Hinton被誉为深度学习之父,不过深度学习的本质就是人工神经网络。曾经人工神经网络被社会各界不看好,很难获得投资,因此2006年Hinton就将这个以人工神经网络为本质的机器学习方法,改名为深度学习了。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本等。深度学习是机器学习的一种。
深度学习是一类模式分析方法的统称,就具体研究内容而言,主要涉及三类方法:
(1)基于卷积运算的神经网络系统,即卷积神经网络(CNN)。是一种深度的监督学习下的机器学习模型。
(2)基于多层神经元的自编码神经网络,包括自编码( Auto encoder)以及近年来受到广泛关注的稀疏编码两类( Sparse Coding)。
(3)以多层自编码神经网络的方式进行预训练,进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。是一种无监督学习下的机器学习模型。
卷积神经网络
传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层合适。而深度学习中最著名的卷积神经网络CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的。
卷积神经网络具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层,而且加入的是一个层级。输入层 -> 卷积层 ->降维层 ->卷积层 ->降维层– … –> 隐藏层 ->输出层。
简单来说,原来多层神经网络做的步骤是:特征映射到值。特征是人工挑选。深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。
总结
上面几个概念的包含关系如下所示: