给定一个带有空格的英文句子，我如何在 python 中估计特定单词适合该空格的概率？

Question

假设我们在python3中有一个带有空格的句子，如下所示：

sentence = "Tomorrow I want to go _______."

我们想从词池中找出哪个词更有可能出现在空白处：

pool_of_words = ['eating', 'playing', 'thinking', 'jogging']

问题：如何估计池中的每个单词出现在该空白处的概率？

示例： 我想解决方案可能是概率函数的形式，它会给出类似下面的例子。我怎样才能建立这样的功能？

probability('jogging') = 0.98

probability('eating') = 0.81

probability('thinking') = 0.2

非常感谢。

Answer 1

您应该阅读语言模型。这个问题有不同的方法，从简单的 n-gram 模型开始，您可以计算语料库中单词序列的出现次数，然后根据您在语料库中找到的分布估计下一个单词的可能性。你也可以用不同复杂度的神经网络来解决这个问题，我认为这对初学者来说可能有点困难。

查看这篇文章，它包含两种方法的 Python 示例代码。

“用 Python 构建自己的语言模型的综合指南！” by Mohd Sanad Zaki Rizvi https://link.medium.com/s7zzcsKie2