假设我们在python3中有一个句子,其空白如下:
sentence = "Tomorrow I want to go _______."
并且我们想从单词池中找出哪个单词更有可能出现在空白处:
pool_of_words = ['eating', 'playing', 'thinking', 'jogging']
问题:如何估算每个单词出现在空白处的概率?
示例:我猜想解决方案可能是概率函数的形式,将给出类似于以下示例的内容。如何建立这样的功能?
probability('jogging') = 0.98
probability('eating') = 0.81
probability('thinking') = 0.2
非常感谢。
您应该阅读语言模型。有多种方法可以解决此问题,从简单的n-gram模型开始,您可以计算语料库中单词序列的出现次数,然后根据在语料库中发现的分布来估计下一个单词的可能性。您也可以使用不同复杂程度的神经网络解决此问题,我认为这对于初学者来说可能有点困难。
查看本文,它包含两种方法的python示例代码。
“由Mohd Sanad Zaki Rizvi https://link.medium.com/s7zzcsKie2撰写的使用Python构建自己的语言模型的综合指南!