组织竞争学习神经网络模型

生物神经网络中,存在着一种侧抑制现象,即当一个神经细胞兴奋后,会对其周围的其它神经细胞产生抑制作用。这种抑制作用使神经细胞之间出现竞争,强者越强,弱者越弱,最终形成一个强兴奋的中心细胞,周围神经细胞处于抑制状态。

这种竞争性的无导师学习策略,学习时只需要输入训练模式,网络就会对输入模式进行自组织,达到识别和分类目的。

具有这种性质的网络有:

  • 自组织特征映射 SOM
  • 对传神经网路 CPN
  • 自适应共振模型 ART
  • 认知机模型等

(自组织特征映射)SOM网络

自组织特征映射SOM1981年提出,基于生物神经细胞的如下两种功能:

1.实际的神经细胞中有一种特征敏感细胞,在外界信号的刺激下,通过自学习形成对某一种刺激(激励)特别敏感的神经元。

2.生物神经细胞在外界的刺激下,会自动聚集而形成一种功能柱,一个功能柱的细胞完成同一种功能.

神经网络 组织竞争学习神经网络(1)

结构如上图,输入层神经元与输出层神经元为全互连方式,且输出层中的神经元按照二维形式排列,它们中的每个神经元代表了一种输入样本。

设输入信号模式为X=[x1,x2,...,xn]T,输出神经元i与输入神经元连接的权值为Wij=[wi1,wi2,...,win]T,则输出神经元i的输出为Oi=WiTX,但是只有满足最大输出条件的神经元才产生输出。Ok=max{Oi}

对于输出神经元k以及其周围的8个相邻的神经元仍可按Hebb法则进行自适应权值调整

神经网络 组织竞争学习神经网络(1)

式中神经网络 组织竞争学习神经网络(1)为学习系数,分母是分子的欧几里得距离,此时的权值被正则化。

自组织的过程就是通过学习,逐步把权向量旋转到一个合适的方向上,即权值的调整方向总是与X的方向一致(无须决策和导师),使Wi(T+1)正比于X(t)。

其数学表达式为神经网络 组织竞争学习神经网络(1),式中X为输出神经元的输入向量,Xb为输出神经元的阈值向量,O为输出神经元的输出向量。

由此可知SOM模型的权值修正规则为

神经网络 组织竞争学习神经网络(1)

正则化后有

神经网络 组织竞争学习神经网络(1)

或者

神经网络 组织竞争学习神经网络(1)

上述介绍中的学习规则都是使用了最大输出的学习规则,但是事实上有两种学习规则。

最大输出规则

神经网络 组织竞争学习神经网络(1)

最小欧式距离规则

神经网络 组织竞争学习神经网络(1)

SOM算法有三个关键点

  • 对于给定输入模式,确定竞争层上获胜单元。
  • 按照学习规则修正获胜单元及其临域单元的连接权值
  • 逐步减小临域及学习过程中权值的变化量。

具体步骤:

1.随机选取一组输入层神经元到输出层神经元之间的权值;

2.选取输出神经元i的邻接神经元集合Si,Si(0)是初始时刻为0时的神经元集合形状,Si(t)为t时刻的神经元集合形状;

神经网络 组织竞争学习神经网络(1)

3.输入一个新样本;

4.计算输入样本与每个输出神经元i之间的欧几里得距离,并选取一个有最小距离的输出神经元i*;

神经网络 组织竞争学习神经网络(1)

5.按照下式修改输出神经元i*及其相邻神经元的连接权值

神经网络 组织竞争学习神经网络(1)

式中神经网络 组织竞争学习神经网络(1)为学习系数

 

 

 

 

 

 

 

相关文章: