graph Laplacian:
拉普拉斯矩阵是个非常巧妙的东西,它是描述图的一种矩阵,在降维,分类,聚类等机器学习的领域有很广泛的应用。
拉普拉斯矩阵的性质

  性质: 
  (1)是半正定矩阵。 
  (2)的最小特值为0,对应特向为全1列向量。 
  (3)对个非负实特征值,
  (4)对于任意一个属于实向量,都有此公式成立: 
拉普拉斯的应用:
       1)拉普拉斯矩阵是一种图的矩阵表示。 
  2)拉普拉斯映射是在保持原流形数据相似度的情况下,直接降维到低维空间。 
  3)谱聚类是通过最小割,刚好借助了拉普拉斯映射的思想,从而用携带切割信息的特向来表征原流形数据,再去聚类。(相比于传统聚类,谱聚类更侧重于数据相似度信息的保留,更具有针对性,计算效率也更高) 
Nonparametric Kernel Matrices 用graph Laplacian来构建,这样label 和unlabel的用来建模,提高了模型的泛化能力。
 construct the graph Laplacian L:
学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints    学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints
D是对角元素   
Mercer’s condition 是核函数必须满足的条件。
则目标函数为

学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints

v是特征向量,后面求和公式则是损失。
根据变形将前面公式可以变为:
学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints
则目标函数可写为:
学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints

由于:
学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints
则最终的原问题为:

学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints

最后则是优化问题,通过转化为对偶问题用kkt条件进行解:
学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints

学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints
最后用smo算法解决:

学习笔记:机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints
参考文献为:    点击打开链接

相关文章:

  • 2021-04-06
  • 2021-09-18
  • 2021-05-28
  • 2021-09-21
  • 2021-09-16
  • 2021-09-20
猜你喜欢
  • 2022-12-23
  • 2022-01-13
  • 2021-06-22
  • 2022-12-23
  • 2022-01-19
  • 2022-02-07
  • 2022-02-10
相关资源
相似解决方案