6.1. 语言模型

语言模型(languagemodel)是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为

6.1. 语言模型 - 图1 的文本中的词依次为 6.1. 语言模型 - 图2 ,那么在离散的时间序列中, 6.1. 语言模型 - 图36.1. 语言模型 - 图4 )可看作在时间步(timestep) 6.1. 语言模型 - 图5 的输出或标签。给定一个长度为 6.1. 语言模型 - 图6 的词的序列 6.1. 语言模型 - 图7 ,语言模型将计算该序列的概率:

6.1. 语言模型 - 图8

语言模型可用于提升语音识别和机器翻译的性能。例如,在语音识别中,给定一段“厨房里食油用完了”的语音,有可能会输出“厨房里食油用完了”和“厨房里石油用完了”这两个读音完全一样的文本序列。如果语言模型判断出前者的概率大于后者的概率,我们就可以根据相同读音的语音输出“厨房里食油用完了”的文本序列。在机器翻译中,如果对英文“yougofirst”逐词翻译成中文的话,可能得到“你走先”“你先走”等排列方式的文本序列。如果语言模型判断出“你先走”的概率大于其他排列方式的文本序列的概率,我们就可以把“yougo first”翻译成“你先走”。

6.1.1. 语言模型的计算

既然语言模型很有用,那该如何计算它呢?假设序列

6.1. 语言模型 - 图9 中的每个词是依次生成的,我们有

6.1. 语言模型 - 图10

例如,一段含有4个词的文本序列的概率

6.1. 语言模型 - 图11

为了计算语言模型,我们需要计算词的概率,以及一个词在给定前几个词的情况下的条件概率,即语言模型参数。设训练数据集为一个大型文本语料库,如维基百科的所有条目。词的概率可以通过该词在训练数据集中的相对词频来计算。例如,

6.1. 语言模型 - 图12 可以计算为 6.1. 语言模型 - 图13 在训练数据集中的词频(词出现的次数)与训练数据集的总词数之比。因此,根据条件概率定义,一个词在给定前几个词的情况下的条件概率也可以通过训练数据集中的相对词频计算。例如, 6.1. 语言模型 - 图14 可以计算为 6.1. 语言模型 - 图15 两词相邻的频率与 6.1. 语言模型 - 图16 词频的比值,因为该比值即 6.1. 语言模型 - 图176.1. 语言模型 - 图18 之比;而 6.1. 语言模型 - 图19 同理可以计算为 6.1. 语言模型 - 图206.1. 语言模型 - 图216.1. 语言模型 - 图22 三词相邻的频率与 6.1. 语言模型 - 图236.1. 语言模型 - 图24 两词相邻的频率的比值。以此类推。

6.1.2. n元语法

当序列长度增加时,计算和存储多个词共同出现的概率的复杂度会呈指数级增加。

6.1. 语言模型 - 图25 元语法通过马尔可夫假设(虽然并不一定成立)简化了语言模型的计算。这里的马尔可夫假设是指一个词的出现只与前面 6.1. 语言模型 - 图26 个词相关,即 6.1. 语言模型 - 图27 阶马尔可夫链(Markovchain of order 6.1. 语言模型 - 图28 )。如果 6.1. 语言模型 - 图29 ,那么有 6.1. 语言模型 - 图30 。如果基于 6.1. 语言模型 - 图31 阶马尔可夫链,我们可以将语言模型改写为

6.1. 语言模型 - 图32

以上也叫

6.1. 语言模型 - 图33 元语法( 6.1. 语言模型 - 图34 -grams)。它是基于:math:n - 1阶马尔可夫链的概率语言模型。当 6.1. 语言模型 - 图35 分别为1、2和3时,我们将其分别称作一元语法(unigram)、二元语法(bigram)和三元语法(trigram)。例如,长度为4的序列 6.1. 语言模型 - 图36 在一元语法、二元语法和三元语法中的概率分别为

6.1. 语言模型 - 图37

6.1. 语言模型 - 图38 较小时, 6.1. 语言模型 - 图39 元语法往往并不准确。例如,在一元语法中,由三个词组成的句子“你走先”和“你先走”的概率是一样的。然而,当 6.1. 语言模型 - 图40 较大时, 6.1. 语言模型 - 图41 元语法需要计算并存储大量的词频和多词相邻频率。

那么,有没有方法在语言模型中更好地平衡以上这两点呢?我们将在本章探究这样的方法。

6.1.3. 小结

  • 语言模型是自然语言处理的重要技术。
  • 6.1. 语言模型 - 图42 元语法是基于 6.1. 语言模型 - 图43 阶马尔可夫链的概率语言模型,其中 6.1. 语言模型 - 图44 权衡了计算复杂度和模型准确性。

6.1.4. 练习

  • 假设训练数据集中有10万个词,四元语法需要存储多少词频和多词相邻频率?
  • 你还能想到哪些语言模型的应用?