MLP RBF RBM DBN DBM CNN 整理学习

开篇语

文章整理自向世明老师的PPT，围绕神经网络发展历史，前馈网络（单层感知器，多层感知器，径向基函数网络RBF），反馈网络（Hopfield网络，联想存储网络，SOM，Boltzman及受限的玻尔兹曼机RBM，DBN，CNN）三部分进行讲述，给人一个神经网络的整体认识。

发展历史

MLP RBF RBM DBN DBM CNN 整理学习

单层感知器

基本模型如下

MLP RBF RBM DBN DBM CNN 整理学习

训练

如果激励函数是线性的话，可用最小二乘直接计算：
MLP RBF RBM DBN DBM CNN 整理学习
如果激励函数是sifmoid function,可迭代更新（一次性或者逐样本更新）：

上式只做了简单的求导展开，很容易推导：

多层感知器

基本模型如下

MLP RBF RBM DBN DBM CNN 整理学习

举例（含有一个隐含层的多层感知器MLP）

模式：
MLP RBF RBM DBN DBM CNN 整理学习

$y=h(v)=h(h(u)):$

求解：
MLP RBF RBM DBN DBM CNN 整理学习
然后分别对两个层的权值求导：

然后更新即可，反向传播（BP）

经验

MLP RBF RBM DBN DBM CNN 整理学习

优缺点

MLP RBF RBM DBN DBM CNN 整理学习

RBF神经网络

模型

MLP RBF RBM DBN DBM CNN 整理学习

求解

MLP RBF RBM DBN DBM CNN 整理学习

优点和视角

MLP RBF RBM DBN DBM CNN 整理学习

深度学习简介

前向神经网络

MLP RBF RBM DBN DBM CNN 整理学习

发展历程

MLP RBF RBM DBN DBM CNN 整理学习

整体一览

MLP RBF RBM DBN DBM CNN 整理学习

一些值得关注

学术
工业

Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥

Belief Network

MLP RBF RBM DBN DBM CNN 整理学习

Hopfield Network

MLP RBF RBM DBN DBM CNN 整理学习

Boltzman机

MLP RBF RBM DBN DBM CNN 整理学习

RBM 受限的玻尔兹曼机

MLP RBF RBM DBN DBM CNN 整理学习

RBM

模型

MLP RBF RBM DBN DBM CNN 整理学习

利用上图中公式，可以得到

求解 CD算法

MLP RBF RBM DBN DBM CNN 整理学习

DBN

模型

MLP RBF RBM DBN DBM CNN 整理学习

训练

面向特征提取
面向分类

DBM

模型

MLP RBF RBM DBN DBM CNN 整理学习

CNN

模型

MLP RBF RBM DBN DBM CNN 整理学习

训练

MLP RBF RBM DBN DBM CNN 整理学习

MLP RBF RBM DBN DBM CNN 整理学习

参考文献

MLP RBF RBM DBN DBM CNN 整理学习

原文：http://lanbing510.info/2014/11/07/Neural-Network.html

相关文章：

2021-05-27
2021-05-09
2021-12-25
2021-11-25
2021-09-08
2021-06-22
2021-10-27
2021-12-07

猜你喜欢

2021-10-03
2021-07-28
2021-07-17
2022-12-23
2021-11-08
2021-12-01
2022-02-17

相关资源

下载 2022-12-11
下载 2022-12-09
下载 2023-03-10

相似解决方案

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode