二、广义线性模型

2.1 广义线性模型的函数定义

1. 考虑单调可微函数 ，令 ，这样得到的模型称作广义线性模型 (generalized linear model)。

   其中函数 称作联系函数 (link function) 。

2. 对数线性回归是广义线性模型在 时的特例。即： 。

   • 它实际上是试图让 逼近 。
   • 它在形式上仍是线性回归，但是实质上是非线性的。

2.2 广义线性模型的概率定义

1. 如果给定 和 的条件概率分布 服从指数分布族，则该模型称作广义线性模型。

   指数分布族的形式为：。

   • 是 的线性函数：
   • 为 的函数
   • 为 的函数

2.3 常见分布的广义线性模型

2.3.1 高斯分布

1. 高斯分布：

   

   令：

   

   则满足广义线性模型。

2.3.2 伯努利分布

1. 伯努利分布（二项分布， 为 0 或者 1，取 1的概率为 ）：

   

   令：

   

   则满足广义线性模型。

2. 根据 ，有 。 则得到：

   

   因此 logistic 回归属于伯努利分布的广义形式。

2.3.3 多元伯努利分布

1. 假设有 个分类，样本标记 。每种分类对应的概率为 。则根据全概率公式，有

   

   • 定义 为一个 维的列向量：

     

   • 定义示性函数 : 表示属于 分类； 表示不属于 分类。则有：

   • 构建概率密度函数为：

     

   • 令

     

     则有：

     

     令 ，则满足广义线性模型。

2. 根据：

   

   则根据：

   

   于是有：

   

   .