有什么方法可以将 2 个 ngram 语言模型组合成 1 个？

Question

我现在有 2 个 ngram 语言模型（model_A 和 model_B）。

• 它们是基于不同的语料库训练的，因此词汇量不同
• 它们经过退避平滑处理，以ARPA 格式存储，所以我有2 个ARPA 文件，ARPA_A 和ARPA_B。

现在，如果我想插入它们，即给定任何短语 ABC。

• model_C(ABC) = 0.5 * model_A(ABC) + 0.5 * model_B(ABC)

如何将ARPA_A 和ARPA_B 合并为一个 (ARPA_C)？

Answer 1

是的。可以结合两个 ngram 语言模型。考虑到您正在使用基于 open fst 的 Open ngram。

ngrammerge --use_smoothing --normalize --alpha=3 --beta=2 earnest.aa.mod earnest.ab.mod >earnest.merged.mod