【问题标题】:In mahout spectral clustering, what should be the diagonal element value in Affinity Matrix在mahout谱聚类中,亲和矩阵中的对角元素值应该是多少
【发布时间】:2014-10-31 08:19:22
【问题描述】:

正如标题所言,这是光谱聚类Spectral clustering Documentation的链接

其中的第一步是为我们的数据点提取相似度矩阵。当它说相似度矩阵时,我假设相同实体(用户、文档等)之间的相似度应该是 1(而不是距离矩阵,它是 0)。

但在他们的示例中,他们为相同的实体分配了 0 分:

0,0 0

1,1 0

在这里我有点困惑。在帮助我之前从事光谱聚类的任何人都可以......

P.S.:我有自己的计算相似度分数的方法,所以我不想使用任何内置的 mahout 函数。

提前谢谢..

【问题讨论】:

  • 考虑不使用 Mahout。我对该工具不太信任,特别是它似乎真的很慢。在我能够使用更好的工具在单个 CPU 上击败 Mahout 运行时之后,我几乎放弃了 Mahout。仅仅因为它在 Hadoop 上运行并不意味着它好或快。
  • (但除此之外,我相信你是正确的,值应该是 1,或者内核产生的任何值。如果它被人为设置为 0,它不应该是输出的一部分全部。)
  • 感谢 Anony-Moousse。实际测试光谱聚类,具有各种种子值。更新线程,一旦完成

标签: java hadoop mapreduce data-mining mahout


【解决方案1】:

我认为我们应该将相似矩阵视为图论中邻接矩阵的扩展:如果两个节点相邻,则为 1,如果不相邻,则为 0。在您的情况下,所有节点都是相邻的,并且您通过相似性矩阵来考虑这个邻接矩阵,以编码有关“两个观测值邻接多少?”的信息。

由于我们不认为一个节点与其自身相邻,除非它与自身有连接,因此邻接矩阵的对角线设置为 0。

【讨论】:

    猜你喜欢
    • 2016-01-19
    • 2014-11-13
    • 2014-12-18
    • 2017-12-18
    • 2014-01-12
    • 2017-03-02
    • 2011-12-28
    • 2015-06-07
    • 1970-01-01
    相关资源
    最近更新 更多