【发布时间】:2017-03-03 22:10:12
【问题描述】:
当我向 Word2Vec 模型添加句子时,它似乎会删除以数值结尾或开头的单词,例如“ISO 9001”返回为“ISO”,我猜这很简单......
提前致谢。
【问题讨论】:
-
任何代码?显然在某些时候会发生预处理,但您并没有帮助我们帮助您
标签: tensorflow tokenize word2vec
当我向 Word2Vec 模型添加句子时,它似乎会删除以数值结尾或开头的单词,例如“ISO 9001”返回为“ISO”,我猜这很简单......
提前致谢。
【问题讨论】:
标签: tensorflow tokenize word2vec
我想你已经在给这个问题的标签中回答了你的问题。您的标记器很可能会被空格分割,并遗漏数字。如果您在此处粘贴您使用的标记化代码,我们将能够为您提供进一步的帮助。
祝你好运!
【讨论】: