【问题标题】:List of "regular" english words“常规”英语单词列表
【发布时间】:2019-06-09 07:10:07
【问题描述】:

所以我找到了这 3 个资源:

我不介意在 479k 单词的列表中有 bu 之类的单词(我从未见过的单词),因为这包括非常晦涩的东西。但令我惊讶的是,维基词典的常用词列表中包含这些词:

b
be
bel
bl
bleu
bu
eu
l
lb
le
leu
lu
lub

此外,wiki 列表包含这些词!

lube
neg
tab

也就是说,wiki 列表中有很多我不会认为是“常规词”的词,还有很多 wiki 列表没有的“常规词”。

所以我的问题是,是否有一个“常规”单词列表可以在公共领域的网络上下载。常规,我只是指您通过阅读书籍等学习的单词,而不是像 leubl 这样的单词,它们出于某种原因在 wiki 精选列表中。

这是一个自动完成组件。

【问题讨论】:

    标签: nlp word-list


    【解决方案1】:

    您似乎已经知道“常规”没有操作定义。这是因为您需要根据项目的需要自己定义它。表情符号是单词吗?如果您正在分析 twitter 数据,那么包含它们可能是有益的。

    帮助您为项目定义“常规”的几个出发点是:

    • 频率度量(这个词在您的语料库中出现的时间至少为 XX%)
    • 来源之间的协议(出现在所有三个单词列表中的单词)
    • 人工判断(自己做,或者使用 mturk 并询问“这是一个词,是还是不是?”)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-10-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-12-19
      • 2020-01-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多