【概率论】 随机变量序列的收敛性

给定概率空间 $(\Omega ,P,\mathcal{F})$

1. 依概率收敛（Convergence in Probability）
• 定义：

随机变量序列 $X_n$ 依概率收敛于随机变量 $X$（记作 $X_n\stackrel{P}{\to }X$），如果对任意 $ϵ>0$：
$$\underset{n\to \infty }{\lim }P(\omega ,|X_n(\omega )-X(\omega )|\ge ϵ)=0.$$

2. 几乎必然收敛（Almost Sure Convergence）
• 定义：

$X_n$ 几乎必然收敛于 $X$（记作 $X_n\stackrel{a.s.}{\to }X$），如果：
$$P\left(\omega ,\underset{n\to \infty }{\lim }{X}_n(\omega )=X(\omega )\right)=1.$$

3. 均方收敛（Convergence in Mean Square）
• 定义：

$X_n$ 均方收敛于 $X$（记作 $X_n\stackrel{L^2}{\to }X$），如果：
$$\underset{n\to \infty }{\lim }E\left[|X_n-X{|}^2\right]=0.$$

4. 依分布收敛（Convergence in Distribution）
• 定义：

$X_n$ 依分布收敛于 $X$（记作 $X_n\stackrel{d}{\to }X$），如果对 $X$ 的分布函数 $F$ 的所有连续点 $x$：
$$\underset{n\to \infty }{\lim }P(\omega ,X_n(\omega )\le x)=P(\omega ,X(\omega )\le x).$$

收敛性强弱关系
四种收敛性的强弱关系如下（箭头表示“蕴含”）：

附证明

几乎必然收敛随机数列必然满足依概率收敛

证明：
根据几乎处处收敛的定义
$$P\left(\omega ,\underset{n\to \infty }{\lim }{X}_n(\omega )=X(\omega )\right)=1.$$
其中
P ( ω , lim ⁡ n → ∞ X n ( ω ) = X ( ω ) ) = P ( ω , ∀ ε > 0 , ∃ N , ∀ n ≥ N , ∣ X n ( ω ) − X ( ω ) ∣ < ε ) = P ( ∩ ε > 0 ∪ N = 1 ∞ ∩ n = N ∞ { ω , ∣ X n ( ω ) − X ( ω ) ∣ < ε } ) = 1 \begin{aligned} & P\left(\omega,\lim_{n \to \infty} X_n(\omega) =X(\omega)\right)\\ =& P\left(\omega, \forall \varepsilon>0, \exists N, \forall n\geq N, |X_n(\omega)-X(\omega)|<\varepsilon\right)\\ =& P\left(\cap_{\varepsilon>0} \cup_{N=1}^\infty\cap_{n=N}^\infty \{\omega, |X_n(\omega)-X(\omega)|<\varepsilon\} \right)=1\\ \end{aligned} ==​P(ω,n→∞lim​Xn​(ω)=X(ω))P(ω,∀ε>0,∃N,∀n≥N,∣Xn​(ω)−X(ω)∣<ε)P(∩ε>0​∪N=1∞​∩n=N∞​{ω,∣Xn​(ω)−X(ω)∣<ε})=1​
因此考虑其补集的概率为0， 而其补集可以写为
∪ ε > 0 ∩ N = 1 ∞ ∪ n = N ∞ { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } \cup_{\varepsilon>0} \cap_{N=1}^\infty \cup_{n=N}^\infty \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} ∪ε>0​∩N=1∞​∪n=N∞​{ω,∣Xn​(ω)−X(ω)∣≥ε}
记 A n ( ε ) = { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } A_n(\varepsilon)= \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} An​(ε)={ω,∣Xn​(ω)−X(ω)∣≥ε}
显然 A N ⊂ ∪ n = N ∞ { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } A_N \subset \cup_{n=N}^\infty \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} AN​⊂∪n=N∞​{ω,∣Xn​(ω)−X(ω)∣≥ε}. 因此

$$\underset{n\to \infty }{\lim }P(A_n(\epsilon ))\le P(\underset{n\to \infty }{\mathrm{limsup}}{A}_n(\epsilon ))=0$$

推出 $X_n$ 是依概率收敛的。

均方收敛推出依概率收敛。

证明：
已知
$$\underset{n\to \infty }{\lim }E\left[|X_n-X{|}^2\right]=0.$$
则 $\forall \epsilon >0$, $\exists N$, $\forall n\ge N$,
${\int }_{\Omega }(X_n(\omega )-X(\omega ){)}^{2}P(d\omega )\le \epsilon$.
令 A n ( ε ) = { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } A_n(\varepsilon)= \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} An​(ε)={ω,∣Xn​(ω)−X(ω)∣≥ε}， （反证法）假设
存在 ${\epsilon }_0>0$, $\forall N$, $\exists n\ge N$,
$$\underset{n\to \infty }{\lim }P(A_n({\epsilon }_0))\ge c$$
则
$${\int }_{\Omega }(X_n(\omega )-X(\omega ){)}^{2}P(d\omega )={\int }_{A_n}(X_n(\omega )-X(\omega ){)}^{2}P(d\omega )+{\int }_{A_n^c}(X_n(\omega )-X(\omega ){)}^{2}P(d\omega )\ge {\epsilon }_{0}c>0$$
与均方收敛矛盾。

依概率收敛推出依分布收敛

证明：
设 $x$ 是 $F_X$ 的一个连续点。我们需要证明：

$$\underset{n\to \infty }{\lim }{F}_{X_n}(x)=F_X(x)$$

对于任意的 $ϵ>0$，考虑以下事件：

{ X n ≤ x } = { X n ≤ x , ∣ X n − X ∣ < ϵ } ∪ { X n ≤ x , ∣ X n − X ∣ ≥ ϵ } \{X_n \leq x\} = \{X_n \leq x, |X_n - X| < \epsilon\} \cup \{X_n \leq x, |X_n - X| \geq \epsilon\} {Xn​≤x}={Xn​≤x,∣Xn​−X∣<ϵ}∪{Xn​≤x,∣Xn​−X∣≥ϵ}

因此，

$$P(X_n\le x)=P(X_n\le x,|X_n-X|<ϵ)+P(X_n\le x,|X_n-X|\ge ϵ)$$

注意到：

$$P(X_n\le x,|X_n-X|<ϵ)\le P(X\le x+ϵ)$$

因为如果 $X_n\le x$ 且 $|X_n-X|<ϵ$，则 $X<X_n+ϵ\le x+ϵ$。

同样，

$$P(X_n\le x,|X_n-X|\ge ϵ)\le P(|X_n-X|\ge ϵ)$$

因此得到：

$$P(X_n\le x)\le P(X\le x+ϵ)+P(|X_n-X|\ge ϵ)$$

类似地，考虑 { X ≤ x − ϵ } \{X \leq x - \epsilon\} {X≤x−ϵ}，可以写出：

{ X ≤ x − ϵ } = { X ≤ x − ϵ , ∣ X n − X ∣ < ϵ } ∪ { X ≤ x − ϵ , ∣ X n − X ∣ ≥ ϵ } \{X \leq x - \epsilon\} = \{X \leq x - \epsilon, |X_n - X| < \epsilon\} \cup \{X \leq x - \epsilon, |X_n - X| \geq \epsilon\} {X≤x−ϵ}={X≤x−ϵ,∣Xn​−X∣<ϵ}∪{X≤x−ϵ,∣Xn​−X∣≥ϵ}

因此，

$$P(X\le x-ϵ)\le P(X_n\le x)+P(|X_n-X|\ge ϵ)$$

即：

$$P(X_n\le x)\ge P(X\le x-ϵ)-P(|X_n-X|\ge ϵ)$$

综上，我们有：

$$P(X\le x-ϵ)-P(|X_n-X|\ge ϵ)\le P(X_n\le x)\le P(X\le x+ϵ)+P(|X_n-X|\ge ϵ)$$

令 $n\to \infty$，由于 $X_n\stackrel{P}{\to }X$，有 $P(|X_n-X|\ge ϵ)\to 0$，因此：

$$P(X\le x-ϵ)\le \underset{n\to \infty }{\mathrm{liminf}}P(X_n\le x)\le \underset{n\to \infty }{\mathrm{limsup}}P(X_n\le x)\le P(X\le x+ϵ)$$

现在，令 $ϵ\to 0$。因为 $x$ 是 $F_X$ 的连续点，所以：

$$\underset{ϵ\to 0}{\lim }P(X\le x-ϵ)=F_X(x^{-})=F_X(x)$$
$$\underset{ϵ\to 0}{\lim }P(X\le x+ϵ)=F_X(x^{+})=F_X(x)$$

因此，夹逼定理告诉我们：

$$\underset{n\to \infty }{\lim }P(X_n\le x)=F_X(x)$$

即：

$$\underset{n\to \infty }{\lim }{F}_{X_n}(x)=F_X(x)$$