在 EM 实现中处理空组件以进行 GMM 学习

Question

我正在尝试在 MATLAB 中使用 EM 从头开始​​学习高斯混合模型。该项目需要对标准 GMM 模型进行一些后期修改，这就是为什么我不使用现成的实现，例如 VLFeat 或 Stats Toolbox。推出实施将是一种学习体验，并且可以在以后轻松定制。

具体来说，为具有球面协方差的 GMM 编码 EM。

1. 处理空集群。当 GMM 的某些组件未分配任何数据时，我无法处理这种情况 - 它们的后验概率质量为零或可忽略不计。当定义了大量的集群时，就会出现这种情况。处理这种情况的标准方法是什么？

2. 直观地说，我会选择具有最高协方差的组件，并将其一半的数据分配给空组件。

我的问题是：在 EM 实现中是否有一种标准且有原则的处理方式（我无法通过 Google 找到）？

Answer 1

不应出现 GMM 中的空组件。

通常，您会进行软分配，因此至少有一小部分对象将保留在每个组件中。这就是为什么您需要 EM 的收敛阈值。