如何使用 word2vec 返回的词向量作为特征？

Question

我计划为此使用 Scikit Learn 的多层感知器分类器。
输出是那个词的性别，它应该以单热编码表示，例如男性的 [1,0,0]，女性的 [0, 1, 0] 和女性的 [0, 0, 1]。 现在输入之一是单词的单词向量。这些向量中的每一个都有 20 个维度。 其他功能是它的词性标签和 Singularity(0)/Plurality(1) 状态。 我的问题是如何使用作为数组的词向量作为 MLPClassifier 中的特征？

Answer 1

您的 w2v 向量捕获了与该词相关的一些语义相似性。这个向量必须被视为一个整体——它本身就是一个特征。

神经网络的一个很好的属性是它们能够自行提取和学习模式。作为输入，您可以考虑将词向量与 POS 标签的向量化/数值等价物连接起来，最后是奇异状态：

------------------- ----  -   
\_________________/ \__/  |     } ------ 25d vector input to the MLP (assuming your POS takes 4 spaces)
     w2v vector      POS state

只要您对训练、测试和未见过的数据遵循一致的方案，您的 MLP 就会在学习时使用整个输入来自动从输入中提取特征。