原文地址:http://blog.csdn.net/google19890102/article/details/18222103

 

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快。

 

ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络,假设有paper 102:极限学习机(Extreme Learning Machine)个任意的样本paper 102:极限学习机(Extreme Learning Machine),其中paper 102:极限学习机(Extreme Learning Machine)paper 102:极限学习机(Extreme Learning Machine)。对于一个有paper 102:极限学习机(Extreme Learning Machine)个隐层节点的单隐层神经网络可以表示为

paper 102:极限学习机(Extreme Learning Machine)

其中,paper 102:极限学习机(Extreme Learning Machine)为激活函数,paper 102:极限学习机(Extreme Learning Machine)为输入权重,paper 102:极限学习机(Extreme Learning Machine)为输出权重,paper 102:极限学习机(Extreme Learning Machine)是第paper 102:极限学习机(Extreme Learning Machine)个隐层单元的偏置。paper 102:极限学习机(Extreme Learning Machine)表示paper 102:极限学习机(Extreme Learning Machine)paper 102:极限学习机(Extreme Learning Machine)的内积。

 

单隐层神经网络学习的目标是使得输出的误差最小,可以表示为

paper 102:极限学习机(Extreme Learning Machine)

即存在paper 102:极限学习机(Extreme Learning Machine)paper 102:极限学习机(Extreme Learning Machine)paper 102:极限学习机(Extreme Learning Machine),使得

paper 102:极限学习机(Extreme Learning Machine)

可以表示为

paper 102:极限学习机(Extreme Learning Machine)

其中paper 102:极限学习机(Extreme Learning Machine)是隐层节点的输出,paper 102:极限学习机(Extreme Learning Machine)为输出权重,paper 102:极限学习机(Extreme Learning Machine)为期望输出。

paper 102:极限学习机(Extreme Learning Machine)

为了能够训练单隐层神经网络,我们希望得到paper 102:极限学习机(Extreme Learning Machine)paper 102:极限学习机(Extreme Learning Machine)使得

paper 102:极限学习机(Extreme Learning Machine)

其中paper 102:极限学习机(Extreme Learning Machine),这等价于最小化损失函数

paper 102:极限学习机(Extreme Learning Machine)

传统的一些基于梯度下降法的算法,如BP学习算法及其变种,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重paper 102:极限学习机(Extreme Learning Machine)和隐层的偏置paper 102:极限学习机(Extreme Learning Machine)被随机确定,隐层的输出矩阵paper 102:极限学习机(Extreme Learning Machine)就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统paper 102:极限学习机(Extreme Learning Machine)。并且输出权重paper 102:极限学习机(Extreme Learning Machine)可以被确定

paper 102:极限学习机(Extreme Learning Machine)

其中,paper 102:极限学习机(Extreme Learning Machine)是矩阵paper 102:极限学习机(Extreme Learning Machine)的Moore-Penrose广义逆。且可证明求得的解paper 102:极限学习机(Extreme Learning Machine)的范数是最小的并且唯一。

极限学习机的代码下载:点击打开链接

相关文章:

  • 2021-11-27
  • 2021-11-16
  • 2021-05-11
  • 2021-06-03
  • 2022-12-23
  • 2021-09-23
  • 2022-12-23
  • 2021-11-01
猜你喜欢
  • 2021-04-24
  • 2022-12-23
  • 2022-12-23
  • 2021-05-13
  • 2021-06-15
  • 2021-12-27
  • 2022-12-23
相关资源
相似解决方案