大数弱法则的证明来了！

大数弱法则证明

之前的文章有介绍过大数定律和中心极限定理的含义。今天来正儿八经的大数弱法则的数学证明整理一下。

证明流程
马尔科夫不等式的证明 -> 切比雪夫不等式的证明 -> 大数弱法则的证明。

这个证明流程是在概率论里面比较经典的证明。而为什么只证明弱法则不证明强法则，这是因为需要了解確率収束converges in probability和概収束converges almost surely的区别，强法则的证明比较复杂。

马尔科夫不等式Markov's Inequality

描述

马尔科夫不等式Markov's Inequality
对于任意的随机变量\(X\)，当\(X\)的数学期望\(E[|X|]\)存在，则对于\(a>0\)有以下关系

\[ P(|X| \geq a) \leq \frac{E[|X|]}{a} \]

马尔科夫不等式的意义
马尔科夫不等式意义在于把概率和数学期望建立了关联。实际用处具体举例的话就是，比平均工资多\(n\)倍的人在总人数的比重不会大于\(\frac{1}{n}\)。

证明

这边以\(X\)为连续性随机变量为例进行证明，离散型随机变量的证明也是类似的，把对应的期望值的定义改动一下即可。

\[ \begin{aligned} E[|X|] &=\int_{-\infty}^{\infty}|x| f(x) d x \\ & = \int_{-\infty}^{-a}|x| f(x) d x + \int_{-a}^{a}|x| f(x) d x +\int_{a}^{\infty}|x| f(x) d x \\ & \geq \int_{-\infty}^{-a}|x| f(x) d x+\int_{a}^{\infty}|x| f(x) d x \\ &\geq a \int_{-\infty}^{-a} f(x) d x+a \int_{a}^{\infty} f(x) d x \\ &=a P(X \leq-a)+a P(X \geq a) \\ &=a P(|X| \geq a) \end{aligned} \]

切比雪夫不等式Chebyshev's Inequality

描述

切比雪夫不等式Chebyshev's Inequality
对于任意的随机变量\(X\)，当\(X\)的数学期望\(E[X]\)和方差\(Var[X]\)存在，则对于\(a>0\)有以下关系

\[ P(|X-E(X)| \geq a) \leq \frac{\operatorname{Var}(X)}{a^{2}} \]

切比雪夫不等式的意义
切比雪夫不等式的意义在于显示了随机变量几乎所有值都会接近平均。以数量化的方式来描述，究竟几乎所有是多少，接近又有多接近。例如与平均相差2个标准差以上的值，数目不多于\(\frac{1}{4}\)。差3个标准差以上的值，数目不会多于\(\frac{1}{9}\)。

证明

证明则使用马尔科夫不等式在\(X \rightarrow(X-E(X))^{2}\)时的特殊情况即为切比雪夫不等式。

当\(a \rightarrow a^{2}，X \rightarrow(X-E(X))^{2}\)时的马尔可夫不等式如下

\[ P(|X-E(X)|^{2} \geq a^{2}) \leq \frac{E(|X-E(X)|^{2})}{a^{2}} \]
因为有
\[ \begin{align} P(|X-E(X)|^{2} \geq a^{2}) & = P(|X-E(X)| \geq a) \\ Var(X) & = E((X - E(X))^{2}) \end{align} \]
所以
\[ \begin{align} P(|X-E(X)|^{2} \geq a^{2}) & = P(|X-E(X)| \geq a) \leq \frac{Var(X)}{a^{2}} \end{align} \]
不等式成立。

大数弱法则Weak Law of Large Numbers

描述

大数弱法则Weak Law of Large Numbers
对于服从\(X \sim N(\mu,\sigma^{2})\)分布的随机变量，其样本均值\(\overline{X}_{n}\)仍为随机变量，对\(a > 0\)有以下关系

\[ \begin{align} \lim _{n \rightarrow \infty} P\left(\left|\overline{X}_{n}-\mu\right| \geq a \right) & = 0 \end{align} \]
>大数弱法则意义
>说明了一些随机事件的均值具有长期稳定的性质。

证明

首先有表现样本均值的随机变量\(\overline{X}_{n}\)

\[ \overline{X}_{n} = \frac{X_{1}+X_{2}+\cdots+X_{n}}{n} \]
其数学期望和方差如下
\[ \begin{align} E\left[\overline{X}_{n}\right] & = E[\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}] \\ & = \frac{1}{n}E[X_{1}+X_{2}+\cdots+X_{n}] \\ & = \frac{1}{n} n \mu = \mu \end{align} \]
\[ \begin{align} \operatorname{Var}\left[\overline{X}_{n}\right] & = \operatorname{Var}[\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}] \\ & = \frac{1}{n^{2}}\operatorname{Var}[X_{1}+X_{2}+\cdots+X_{n}] \\ & = \frac{1}{n^{2}} n \sigma ^{2} = \frac{\sigma ^{2}}{n} \end{align} \]
应用切比雪夫不等式，则满足如下关系
\[ P\left(\left|\overline{X}_{n}-\mu\right| \geq a \right) \leq \frac{\sigma^{2}}{n a^{2}} \]
对其两遍求\(n \rightarrow \infty\)的极限，则可推导出如下关系式
\[ \lim_{n \rightarrow \infty} P\left(\left|\overline{X}_{n}-\mu\right| \geq a \right)=0 \]
即为大数弱法则。

总结

这样就是一个大数弱法则证明的完整流程了，整体证明还是非常优雅流畅的。对于常用的定律做一做严谨的证明还是很有必要的。