pagerank:链接分析

如同图谱的网络
11-pagerank 图机器学习之PageRank
每个网页相互链接,是一个有向图,强连通分量
设计一个计算十堰,找到给定节点的输入与输出成分(?)
11-pagerank 图机器学习之PageRank
节点:网页
边:超链接
次要问题:动态页面如何解决?暗网——无法直接进入的网页
11-pagerank 图机器学习之PageRank
网页的现状:不一定通过导航链接,而通过交易事务(?),例如邮件,评论,评论,点赞,购买等
11-pagerank 图机器学习之PageRank

是一个有向图
11-pagerank 图机器学习之PageRank
其他类型的信息网络:如引用网络,百科中的引用
11-pagerank 图机器学习之PageRank

In(v) OUT(v)的定义:通过输入或输出关系可以接触节点v的节点集合
11-pagerank 图机器学习之PageRank
有向图的推理
有向图的两种类型:
1)强连接(任意两节点间相连)
2)邮箱无环图
11-pagerank 图机器学习之PageRank

强连通分量:任意两节点有通路
11-pagerank 图机器学习之PageRank

事实上,每一个有向图在他的SCCs上都是有向无环图,也就是说,如果把一个图中的连通分量看成一个节点的话,那个这个虚拟的新图就是一个DAG
11-pagerank 图机器学习之PageRank



网络的结构:
11-pagerank 图机器学习之PageRank

一个节点的In(v)和Out(v)的交集,是一个强连通分量,同时=Out(v,G)与Out(v,G‘)交集,G'是指G中所有边的方向翻转后得到的图
11-pagerank 图机器学习之PageRank



11-pagerank 图机器学习之PageRank

对于网页网络而言,计算其输入与输出分量
11-pagerank 图机器学习之PageRank

结果
11-pagerank 图机器学习之PageRank
蝴蝶结结构
11-pagerank 图机器学习之PageRank


网络的pagerank
对网页的重要度进行排序——基于网络结构
11-pagerank 图机器学习之PageRank
链路分析算法
§ PageRank
§ Personalized PageRank
§ Random Walk with Restarts
将链接看成投票,网页越重要,则有更多的链接
但是,每一个链接都一视同仁吗?
11-pagerank 图机器学习之PageRank

从重要网页来的vote更具价值
11-pagerank 图机器学习之PageRank


当一个节点被其他重要节点指向时,这个点变得更重要
11-pagerank 图机器学习之PageRank

矩阵公式
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank

矩阵的特征向量M=pagerank
11-pagerank 图机器学习之PageRank

迭代方式
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank

pageRank的解方程
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank

3个问题:
是否收敛;收敛结果是所需求的吗?结果合理吗?
11-pagerank 图机器学习之PageRank

还有两个问题:
有些网页没有出度
有些网页是搜索陷阱,即所有的链接都在组内
11-pagerank 图机器学习之PageRank

对于上面的两个问题,那么,他会收敛吗?
11-pagerank 图机器学习之PageRank


11-pagerank 图机器学习之PageRank
解决方案:
在每一次迭代,以某个概率随机链接?
11-pagerank 图机器学习之PageRank


对于teleports,没有出度的,在矩阵中使其出度的概率为1
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank


google的解决方案
11-pagerank 图机器学习之PageRank

11-pagerank 图机器学习之PageRank

例子:
11-pagerank 图机器学习之PageRank

如何实际计算pagerank
11-pagerank 图机器学习之PageRank

当节点多的时候,占用空间大
11-pagerank 图机器学习之PageRank
通过稀疏矩阵的分解
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank

例子:
11-pagerank 图机器学习之PageRank
随机游走的restart以及个性化的pagerank
11-pagerank 图机器学习之PageRank

应用例子:图谱检索
给定:作者与会议的关联网络
目标:图谱中的相似衡量
           如:与ICDM关联度最高的会议是?我们应该推荐某个人参加其他哪类会议?
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank

1) 图谱和网页检索:对节点基于重要性排序
2)个性化的PageRank:将节点与teleport node s的亲近度进行排序
3)图中的亲近度: 例如与ICDM最相关的是?重启动的随机游走,启动点位teleport node
11-pagerank 图机器学习之PageRank

如何 random walk
1)从查询点出发,随机游走,并记录每个访问到的点
2)以概率α,多次随机游走
3)访问次数最多的点,即为最相近的点
11-pagerank 图机器学习之PageRank

11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank

益处:
考虑了:多链接;多路径;有向和无向的连接;节点的度
11-pagerank 图机器学习之PageRank

11-pagerank 图机器学习之PageRank
11-pagerank 图机器学习之PageRank

pagerank总结:
11-pagerank 图机器学习之PageRank







相关文章:

  • 2022-12-23
  • 2021-09-19
  • 2021-08-06
  • 2022-12-23
  • 2022-01-15
  • 2021-06-30
猜你喜欢
  • 2021-06-15
  • 2021-10-31
  • 2021-12-07
  • 2021-12-17
  • 2021-06-13
  • 2021-08-16
相关资源
相似解决方案