将 lda 用于 vowpal wabbit 的输出格式答案

【问题标题】：Output format in using lda for vowpal wabbit将 lda 用于 vowpal wabbit 的输出格式
【发布时间】：2014-11-23 21:32:20
【问题描述】：

我使用 VowpalWabbit.LDA 为一些文档集合生成主题。输出文件如下：

Version 7.7.0

Min label:0.000000

Max label:1.000000

bits:18

0 pairs: 

0 triples: 

rank:0

lda:10

0 ngram: 

0 skip: 

options: --lda 10

0 21407.330078 1.025429 0.648226 0.917246 0.451278 0.801456 11463.415039 0.876181 1.105704 0.785956 

1 39210.687500 0.814911 0.389153 0.473620 0.391765 0.688513 0.708061 0.526936 0.719026 0.659338 

2 41573.523438 1.161345 0.583391 0.918144 0.318337 0.543920 0.704812 0.987455 0.633980 0.890918 

3 2.759077 1.114242 0.662993 1.113668 0.632519 0.707388 26730.898438 1.074518 0.974116 0.909262 

4 1.476383 1.263869 0.552380 0.838780 0.500615 0.529077 24156.128906 0.689529 1.400310 0.530180 

5 1.083310 0.746087 0.539263 1.152820 0.496213 0.726304 17391.972656 0.809698 1.682978 0.925061 

6 4.601943 1.551102 0.541617 1.532858 0.418091 1.432069 10.024081 1.992290 12924.787109 1.202141

我应该看到每个单词的标识符以及它属于每个主题的概率。但我看到了一些巨大的数字，比如 21407.330078。有人知道如何将此输出格式转换为我想看到的格式吗？

【问题讨论】：

标签： lda topic-modeling vowpalwabbit

【解决方案1】：

您似乎正在查看预测输出文件。它包含“推断的每个文档的主题权重”，格式如下：“每一行对应一个文档 d。每列对应一个主题 k”。

如果您需要有关单词的信息，您应该在命令行中添加“--readable_model topics.dat”参数。这将为您提供具有以下内容的人类可读格式的主题：“每一行对应一个主题 k。每列对应一个单词 w” 请参考https://github.com/JohnLangford/vowpal_wabbit/wiki/lda.pdf

【讨论】：

文档在这个问题上自相矛盾，声称，正如你所写，每一行对应一个主题 k。每列对应一个单词 w。但是，在给出的示例中，数据清晰地排列为跨行的单词和跨列的主题。此外，如果您实际计算这样一个文件，它确实似乎是跨行排列的单词，但每个单词前面都有一列索引。

【解决方案2】：

如果您使用 -a（审计）运行 vw，您可以看到从单词到哈希值的映射。我假设您需要对模型输出中的每一行进行规范化，然后找到每个主题的热门词。

【讨论】：

一个小提示：如果您对文档中的单词使用整数标识符并在vw 之外维护一个字典将它们转换回单词，vw 可以方便地将它们直接用作哈希值，因此没有需要--audit。请注意，您的 -b <N> 必须足够大以覆盖所有不同的单词范围。默认值为 -b 18，它允许 262143（不包括 0）不同的单词值。
@arielf 似乎必须为“整数标识符技巧”指定--noconstant 选项才能像宣传的那样工作。
好主意。这听起来是正确的，它实际上可能是一个意外的小错误。如果特征的数量 [1..N] 小于哈希常数：murmur32("Constant") == 116060，这不是问题。但是一旦超过这个 N，就会发生常数和您的第 116060 个功能。哎呀。也许值得报道？