如何在 NLP 中创建词缀（前缀 + 后缀）嵌入

Question

我正在处理命名实体识别任务。传统的方法是连接词嵌入和字符级嵌入，首先创建一个词表示。我还想使用词缀嵌入来更好地理解标签和单词之间的关系。

例如，“阿富汗”和“卡吉克斯坦”这两个词就是位置的明确示例。这里后缀“istan”或“tan”将有助于识别未来的“位置”标签。所以我想提取所有单词的后缀和前缀并为它们创建嵌入，然后与初始单词表示连接。如何做到这一点？

Answer 1

你可以这样做：

1. 从 Google 搜索后缀词汇。
2. 编写一个简单的最大向后切分脚本来生成所有单词的后缀，并将它们作为另一个项目添加到您的训练和测试数据中，就像单词和字符一样。
3. 将后缀嵌入与单词和字符嵌入连接起来。