fastText原理

fastText的模型结构

$x_1,x_2,...,x_{N−1},x_N$x1​,x2​,...,xN−1​,xN​表示一个文本中的n-gram向量，每个特征是词向量的平均值。这和前文中提到的cbow相似，cbow用上下文去预测中心词，而此处用全部的n-gram去预测指定类别。

hierarchical Softmax 层次Softmax

在面对label众多的分类问题时，fastText设计了一种hierarchical softmax函数。使其具有以下优势：

• 1）适合大型数据+高效的训练速度：能够训练模型“在使用标准多核CPU的情况下10分钟内处理超过10亿个词汇”，特别是与深度模型对比，fastText能将训练时间由数天缩短到几秒钟。
• 2）支持多语言表达：利用其语言形态结构，fastText能够被设计用来支持多种语言。

可以认为，FastText= （word2vec中）CBOW + h-softmax；其结构为：输入 - 隐层 - h-softmax

fastText 也利用了类别（class）不均衡这个事实（一些类别出现次数比其他的更多），通过使用 Huffman 算法建立用于表征类别的树形结构。因此，频繁出现类别的树形结构的深度要比不频繁出现类别的树形结构的深度要小，这也使得进一步的计算效率更高。