【问题标题】:Cluster identification with NN使用 NN 进行聚类识别
【发布时间】:2019-11-05 12:45:32
【问题描述】:

我有一个包含数百万个粒子坐标的数据框,我想用它来训练神经网络。这些粒子构建了单独的簇,这些簇已经被识别和标记;这意味着每个粒子都已分配到其正确的簇(此分配是通过密度估计完成的,但出于我的目的并不那么相关)。 现在的挑战是建立一个网络,在从海量数据中学习后进行这种聚类。数据框中还有一些其他特征,例如簇大小、簇中的粒子数量等。

因为这不是一个分类问题,而是一个集群的识别——挑战我应该使用什么样的神经网络?我在构建这个网络时也遇到了问题:例如,一个 CNN 对图片中是否有狗或猫进行分类,输出显然是二进制的。所以最后一层也只包含两个输出,它们表示为 1 或 0 的概率。但是当我想识别集群时如何实现最后一层呢?

在我的研究过程中,我听说了自组织地图。这些网络能胜任吗?

谢谢

【问题讨论】:

    标签: python tensorflow neural-network cluster-analysis


    【解决方案1】:

    如果您想将聚类视为分类问题,那么您可以尝试训练网络以预测两个点属于同一聚类还是不同聚类

    不过,这并不能最终解决您的问题 - 要对数据进行聚类,此标记需要是可传递的(可能不会),并且您必须标记 n² 对,这很昂贵。

    此外,由于您的聚类是基于密度的,您的网络可能需要了解更多数据点来判断应该连接哪些数据点...

    【讨论】:

      【解决方案2】:

      这些粒子构建了单独的簇,这些簇已被识别 并贴上标签;这意味着每个粒子都已分配给它的 正确的集群(这个分配是通过密度估计完成的,但是 出于我的目的,不那么相关)。 现在的挑战是建立一个进行这种聚类的网络 在从海量数据中学习之后。

      对我来说听起来很像一个分类问题。图像本身可以在其图像空间中构建集群(例如,维度为 width * height * RGB 的向量空间)。

      因为这不是分类问题,而是识别问题 集群的挑战——我应该使用什么样的神经网络?

      你有坐标数据,你有标签。从一个简单的全连接单/多层感知器开始,即 vanilla NN,其输出与集群数量和 softmax 激活函数一样多。

      互联网上有大量关于深度学习库的博客和教程,例如 keras

      【讨论】:

      • 不,聚类不是分类的另一个词。研究更多聚类!
      • 当然你是对的,分类不是聚类的另一种说法。也许我的答案有点匆忙,缺乏精确性。我的意图是强调,由于在这种情况下提供了集群标签,我们可以将其视为监督分类问题。感谢您指出我的错误,我相应地编辑了我的答案。
      猜你喜欢
      • 2015-12-03
      • 1970-01-01
      • 2020-03-12
      • 2013-03-08
      • 2014-01-25
      • 2017-07-13
      • 1970-01-01
      • 2015-04-18
      • 2018-04-24
      相关资源
      最近更新 更多