fasttext 不断预测一个标签答案

【问题标题】：fasttext keeps predicting one labelfasttext 不断预测一个标签
【发布时间】：2019-01-21 13:33:32
【问题描述】：

我正在尝试使用 fasttext 标记一些数据 [url]or[PN] 只是为了测试它在对每个标签的 6k 进行训练并在预测后继续预测 [PN]

训练命令

fasttext supervised -input input.txt -output model -minn 0 -maxn 0 -epoch 100 -lr 0.1

样本训练数据

__label__PN 5962-8904XA
__label__PN 585DD4P54ZP
__label__PN GQ0B11400FCT
__label__URL http://ws.com/qd/lat/ispls32883.pdf
__label__URL http://ws.com/pdfs//2004/0423/ds/m412b.pdf
__label__URL http://ws.com/pdfs//2004/0423/mc68.pdf

样本测试数据

945
74ACT399MTC
http://www.msn.com/mylink.pdf
MQ8797BH
74AC1153
ICL762PA+
54LS3482A
54LS76A/B
54HC27/A
www.google.com

【问题讨论】：

尝试用空格替换特殊字符并设置 minn 和 maxn 参数

标签： text-classification fasttext

【解决方案1】：

FastText 它基于WordNGrams，这意味着你需要将一个完整的句子作为算法的输入。

在您的示例中，您只为算法传递了一个 unigram，并且根据您在模型参数中使用的 WordNGrams 的数量，您无法学习。

ELI5：算法说：我能够学习复杂的句子，因为单词的结构和它们的组合，但你发送给我的只是单词。我无法处理。

【讨论】：