如何最好地检测无意义的文本？答案

【问题标题】：How best to detect non-nonsensical text?如何最好地检测无意义的文本？
【发布时间】：2014-06-25 16:47:42
【问题描述】：

我的用例是我有传入的文件。有些具有描述性文件名，而另一些则具有文件名的数字和/或字母集合。

我很想知道，当文件名不是英文单词时，有什么合适的方法来检测？

是否有任何文本挖掘范例可以完成这样的任务？

谢谢

【问题讨论】：

【解决方案1】：

你需要有一个英文单词的查表，并在检查输入单词时用你的表。对于这棵树，您可以使用：

您只需要使用其中的单词表。表中的任何内容都是有效词。

【讨论】：

【解决方案2】：

您需要将文件名拆分为可能的单词（使用空格、破折号、取消划线或数据中合适的任何内容），然后通过字典运行这些单词。如果 80% 的单词是英文，这可能是一个没有意义的名字。

单词列表的例子很多：这是cmudict和或在这个question

【讨论】：