语言检测中的测试集与训练集完全不同

Question

我正在尝试编写一个机器学习算法来从训练数据中学习并对实例的语言进行分类。总共有 4 个分类：波兰语、法语、斯洛伐克语、德语。

在训练数据中，数据是完整的句子，但在查看测试数据时，数据仅由单个字符表示。

例如，我的训练数据的一个实例如下所示：

"Et oui cest la fille du patron Il fait tout"

但是我的测试数据是这样的：

"e e n t l n r i a e i a v i t s r e t n"

为什么我的训练数据集与我的测试数据集如此不同，对于这个问题，什么是合适的特征选择？

Answer 1

怀疑你有这样的火车。想到的唯一方法是使用概率给定分布
如果您有足够大的段落，您可以计算给定语言的每个字母的百分比值计数并将其与您的数据匹配。
例如，众所周知，在足够大的英文文本中，字母“a”出现~8.167%，字母“e”~12.702%，但在德语中，“a”出现~6.%，“e”~16.4%。其他语言有不同的分布。
查看这篇维基百科文章：https://en.wikipedia.org/wiki/Letter_frequency