三、大数定律及中心极限定理

3.1 切比雪夫不等式

1. 切比雪夫不等式：假设随机变量 具有期望 ， 方差 ，则对于任意正数 ，下面的不等式成立：

   

   • 其意义是：对于距离 足够远的地方 （距离大于等于 ），事件出现的概率是小于等于 。即事件出现在区间 的概率大于 。

     该不等式给出了随机变量 在分布未知的情况下， 事件 的下限估计。如： 。

   • 证明：

     

2. 切比雪夫不等式的特殊情况：设随机变量 相互独立，且具有相同的数学期望和方差： 。 作前 个随机变量的算术平均： ， 则对于任意正数 有：

   

   证明：根据期望和方差的性质有：， 。根据切比雪夫不等式有：

   

   则有 ，因此有： 。

3.2 大数定理

1. 依概率收敛：设 是一个随机变量序列， 是一个常数。

   若对于任意正数 有 ： ，则称序列 依概率收敛于 。记作：

2. 依概率收敛的两个含义：

   • 收敛：表明这是一个随机变量序列，而不是某个随机变量；且序列是无限长，而不是有限长。
   • 依概率：表明序列无穷远处的随机变量 的分布规律为：绝大部分分布于点 ，极少数位于 之外。且分布于 之外的事件发生的概率之和为0。

3. 大数定理一： 设随机变量 相互独立，且具有相同的数学期望和方差： 。 则序列： 依概率收敛于 ， 即 。

   注意：这里并没有要求随机变量 同分布。

4. 伯努利大数定理： 设 为 次独立重复实验中事件 发生的次数， 是事件 在每次试验中发生的概率。则对于任意正数 有：

   

   即：当独立重复实验执行非常大的次数时，事件 发生的频率逼近于它的概率。

5. 辛钦定理：设随机变量 相互独立，服从同一分布，且具有相同的数学期望： 。 则对于任意正数 有：

   

   • 注意：这里并没有要求随机变量 的方差存在。
   • 伯努利大数定理是亲钦定理的特殊情况。

3.3 中心极限定理

1. 独立同分布的中心极限定理：设随机变量 独立同分布，且具有数学期望和方差： ， 则随机变量之和 的标准变化量：

   

   的概率分布函数 对于任意 满足：

   

   • 其物理意义为：均值方差为 的独立同分布的随机变量 之和 的标准变化量 ，当 充分大时，其分布近似于标准正态分布。

     即： 在 充分大时，其分布近似于 。

   • 一般情况下，很难求出 个随机变量之和的分布函数。因此当 充分大时，可以通过正态分布来做理论上的分析或者计算。

2. Liapunov 定理：设随机变量 相互独立，具有数学期望和方差： 。记：。 若存在正数 ，使得当 时， 。则随机变量之和 的标准变化量:

   

   的概率分布函数 对于任意 满足：

   

   • 其物理意义为：相互独立的随机变量 之和 的衍生随机变量序列，当 充分大时，其分布近似与标准正态分布。
   • 这里并不要求 同分布。

3. Demoiver-Laplace定理：设随机变量序列 服从参数为 的二项分布，其中 。则对于任意 , 有：

   

   该定理表明，正态分布是二项分布的极限分布。当 充分大时，可以利用正态分布来计算二项分布的概率。