NLP去除错别字的方法？

Question

例如，“去年加入的卡会员平均年龄为 5 岁”。显然“5”是一个错字，我想在进一步处理之前将这句话规范化为“去年加入的卡成员的平均年龄”。我可以使用什么 NLP 技术来完成这项任务？

Answer 1

通过删除拼写来标准化输入并不是 NLP 中文本预处理的常用方法。

自动语法更正（包括修正明显的拼写错误）是一项相当复杂的任务，而且运行良好的解决方案对计算的要求很高。目前，最好的结果是通过大型深度学习模型来实现的。您可以从HuggingFace Model Hub 下载并直接使用一些模型。作为一种更轻量级的解决方案，您可以尝试应用拼写检查器或编写一些非常适合您的数据的规则。

通常的方法不是在预处理步骤中消除错误，而是使 NLP 模型和算法对源噪声具有鲁棒性。在简单的统计模型中，这通常通过只考虑在训练数据中只出现几次的单词（或单词 n-gram）来实现。大型神经模型通常通过对所有可用数据进行大规模预训练而变得稳健。