大型数据集的主题建模工具 (30GB)答案

【问题标题】：Topic Modeling tool for large data set (30GB)大型数据集的主题建模工具 (30GB)
【发布时间】：2014-07-14 10:18:04
【问题描述】：

我正在寻找一些适用于大型数据集的主题建模工具。

我当前的训练数据集是 30 GB。我试过MALLET topic modeling，但总是遇到OutOfMemoryError。

如果您有任何提示，请告诉我。

【问题讨论】：

【解决方案1】：

您可以使用许多选项，并且此响应与它们的比较方式无关。

我认为这么大的数据集最重要的是使用的近似后验推理方法，而不一定是软件实现。根据this paper 的说法，在线变分贝叶斯推理在时间和空间方面比吉布斯采样更有效。虽然我从未使用过它，但gensim 包看起来不错。它是用python编写的，项目的webpage有深入的教程。

有关直接来自源代码的代码，请参阅 LDA 模型 here 的作者之一 David Blei 的网页。他链接到多种语言（R、Java、C++）的多个实现。

【讨论】：

【解决方案2】：

我建议使用graphlab之类的“大数据”工具，支持主题建模：http://docs.graphlab.org/topic_modeling.html

【讨论】：

【解决方案3】：

GraphLab Create topic model toolkit（使用 Python API 绑定）应该能够处理这么大的数据集。

【讨论】：