概率论基础教程第六章 随机变量的联合分布(二)
6.3 独立随机变量的和
当两个随机变量 $ X $ 和 $ Y $ 相互独立时,研究其和 $ X+Y $ 的分布是概率论中的一个重要问题。特别地,若 $ X $ 和 $ Y $ 是连续型随机变量,且密度函数分别为 $ f_X(x) $ 和 $ f_Y(y) $,则可以通过卷积方法求得 $ X+Y $ 的分布。
设 $ X $ 和 $ Y $ 为相互独立的连续型随机变量,密度函数分别为 $ f_X $ 和 $ f_Y $。则 $ X+Y $ 的累积分布函数为:
FX+Y(a)=P{X+Y≤a}=∬x+y≤afX(x)fY(y) dx dy F_{X+Y}(a) = P\{X + Y \leq a\} = \iint_{x+y \leq a} f_X(x) f_Y(y) \, dx\,dy FX+Y(a)=P{X+Y≤a}=∬x+y≤afX(x)fY(y)dxdy
通过变量变换可得:
FX+Y(a)=∫−∞∞∫−∞a−yfX(x)fY(y) dx dy=∫−∞∞(∫−∞a−yfX(x) dx)fY(y) dy F_{X+Y}(a) = \int_{-\infty}^{\infty} \int_{-\infty}^{a - y} f_X(x) f_Y(y) \, dx\,dy = \int_{-\infty}^{\infty} \left( \int_{-\infty}^{a - y} f_X(x)\,dx \right) f_Y(y)\,dy FX+Y(a)=∫−∞∞∫−∞a−yfX(x)fY(y)dxdy=∫−∞∞(∫−∞a−yfX(x)dx)fY(y)dy
=∫−∞∞FX(a−y)fY(y) dy(3.1) = \int_{-\infty}^{\infty} F_X(a - y) f_Y(y)\,dy \tag{3.1} =∫−∞∞FX(a−y)fY(y)dy(3.1)
此式表明,$ F_{X+Y} $ 是 $ F_X $ 与 $ F_Y $ 的卷积(convolution)。
对 $ F_{X+Y}(a) $ 关于 $ a $ 求导,得到 $ X+Y $ 的概率密度函数:
fX+Y(a)=dda∫−∞∞FX(a−y)fY(y) dy=∫−∞∞ddaFX(a−y)fY(y) dy f_{X+Y}(a) = \frac{d}{da} \int_{-\infty}^{\infty} F_X(a - y) f_Y(y)\,dy = \int_{-\infty}^{\infty} \frac{d}{da} F_X(a - y) f_Y(y)\,dy fX+Y(a)=dad∫−∞∞FX(a−y)fY(y)dy=∫−∞∞dadFX(a−y)fY(y)dy
由于 $ \frac{d}{da} F_X(a - y) = f_X(a - y) $,因此:
fX+Y(a)=∫−∞∞fX(a−y)fY(y) dy(3.2) f_{X+Y}(a) = \int_{-\infty}^{\infty} f_X(a - y) f_Y(y)\,dy \tag{3.2} fX+Y(a)=∫−∞∞fX(a−y)fY(y)dy(3.2)
结论:独立连续随机变量之和的密度函数为其各自密度函数的卷积。
6.3.1 均匀随机变量
三角分布
例 3a:两个独立 $ (0,1) $ 均匀随机变量之和的密度函数
设 $ X $ 和 $ Y $ 为独立随机变量,均服从 $ (0,1) $ 上的均匀分布,即:
fX(x)=fY(y)={1,0<x<10,否则 f_X(x) = f_Y(y) = \begin{cases} 1, & 0 < x < 1 \\ 0, & \text{否则} \end{cases} fX(x)=fY(y)={1,0,0<x<1否则
由公式 (3.2) 得:
fX+Y(a)=∫−∞∞fX(a−y)fY(y) dy=∫y:fY(y)>0fX(a−y)fY(y) dy(因为其他地方为0)=∫01fX(a−y)⋅1 dy(因为 fY(y)=1 在 (0,1)) \begin{aligned} f_{X+Y}(a) &= \int_{-\infty}^{\infty} f_X(a - y) f_Y(y)\,dy \\ &= \int_{y: f_Y(y) > 0} f_X(a - y) f_Y(y)\,dy \quad \text{(因为其他地方为0)} \\ &= \int_0^1 f_X(a - y) \cdot 1\,dy \quad \text{(因为 } f_Y(y)=1 \text{ 在 } (0,1)) \end{aligned} fX+Y(a)=∫−∞∞fX(a−y)fY(y)dy=∫y:fY(y)>0fX(a−y)fY(y)dy(因为其他地方为0)=∫01fX(a−y)⋅1dy(因为 fY(y)=1 在 (0,1))
考虑不同区间:
-
当 $ 0 \leq a \leq 1 $ 时,$ a - y \in (0,1) $ 要求 $ y < a $,所以积分区间为 $ y \in (0,a) $:
fX+Y(a)=∫0a1 dy=a f_{X+Y}(a) = \int_0^a 1\,dy = a fX+Y(a)=∫0a1dy=a -
当 $ 1 < a < 2 $ 时,$ a - y \in (0,1) $ 要求 $ a - 1 < y < 1 $,所以积分区间为 $ y \in (a - 1, 1) $:
fX+Y(a)=∫a−111 dy=2−a f_{X+Y}(a) = \int_{a-1}^1 1\,dy = 2 - a fX+Y(a)=∫a−111dy=2−a -
当 $ a \leq 0 $ 或 $ a \geq 2 $ 时,积分为 0。
综上:
fX+Y(a)={a,0≤a≤12−a,1<a<20,其他(*) f_{X+Y}(a) = \begin{cases} a, & 0 \leq a \leq 1 \\ 2 - a, & 1 < a < 2 \\ 0, & \text{其他} \end{cases} \tag{*} fX+Y(a)=⎩⎨⎧a,2−a,0,0≤a≤11<a<2其他(*)
该密度函数图像呈三角形,故称为 三角分布(triangular distribution)。
n 个独立 $ (0,1) $ 均匀随机变量之和的分布函数
令 $ X_1, X_2, \ldots, X_n $ 为独立同分布于 $ (0,1) $ 的均匀随机变量。定义:
Fn(x)=P{∑i=1nXi≤x},x≥0 F_n(x) = P\left\{ \sum_{i=1}^n X_i \leq x \right\}, \quad x \geq 0 Fn(x)=P{i=1∑nXi≤x},x≥0
我们用数学归纳法证明:
定理:当 $ 0 \leq x \leq 1 $ 时,有
Fn(x)=xnn! F_n(x) = \frac{x^n}{n!} Fn(x)=n!xn
[!NOTE]
FX(x)={0,x≤0x,0<x<11,x≥1 F_X(x) = \begin{cases} 0, & x \leq 0 \\ x, & 0 < x < 1 \\ 1, & x \geq 1 \end{cases} FX(x)=⎩⎨⎧0,x,1,x≤00<x<1x≥1
证明:
-
基础情形:$ n = 1 ,,, X_1 \sim U(0,1) $,则 $ F_1(x) = P(X_1 \leq x) = x = \frac{x^1}{1!} $,成立。
-
归纳假设:假设对 $ n-1 $ 成立,即
Fn−1(x)=xn−1(n−1)!,0≤x≤1 F_{n-1}(x) = \frac{x^{n-1}}{(n-1)!}, \quad 0 \leq x \leq 1 Fn−1(x)=(n−1)!xn−1,0≤x≤1 -
归纳步骤:
要证:
Fn(x)=P(∑i=1nXi≤x)=P(∑i=1n−1Xi+Xn≤x) F_n(x) = P\left( \sum_{i=1}^n X_i \leq x \right) = P\left( \sum_{i=1}^{n-1} X_i + X_n \leq x \right) Fn(x)=P(i=1∑nXi≤x)=P(i=1∑n−1Xi+Xn≤x)记:
- $ S_{n-1} = \sum_{i=1}^{n-1} X_i $
- $ Y = X_n \sim U(0,1) $,与 $ S_{n-1} $ 独立
需证
FSn−1+Y(x)=P(Sn−1+Y≤x) F_{S_{n-1} + Y}(x) = P(S_{n-1} + Y \leq x) FSn−1+Y(x)=P(Sn−1+Y≤x)
根据**卷积公式 (3.1)**有:FSn−1+Y(x)=∫−∞∞FSn−1(x−y)fY(y) dy F_{S_{n-1} + Y}(x) = \int_{-\infty}^{\infty} F_{S_{n-1}}(x - y) f_Y(y)\,dy FSn−1+Y(x)=∫−∞∞FSn−1(x−y)fY(y)dy
代入:
- $ f_Y(y) = 1 $ 当 $ 0 < y < 1 $,否则为 0
- 所以积分只需在 $ y \in (0,1) $
Fn(x)=∫01Fn−1(x−y) dy F_n(x) = \int_0^1 F_{n-1}(x - y)\,dy Fn(x)=∫01Fn−1(x−y)dy
对 $ F_{n-1}(x - y) $ 分析
由上文可知:
- 如果 $ z < 0 $,则 $ F_{n-1}(z) = 0 $
- 如果 $ 0 \leq z \leq 1 $,则 $ F_{n-1}(z) = \frac{z^{n-1}}{(n-1)!} $
- 如果 $ z > 1 $,但我们不关心,因为这里 $ x \leq 1 ,,, y > 0 $,所以 $ x - y < 1 $
现在看:
- 当 $ y > x $,则 $ x - y < 0 $ → $ F_{n-1}(x - y) = 0 $
- 当 $ y \leq x $,则 $ x - y \geq 0 $,且 $ x - y \leq x \leq 1 $ → 可用归纳假设
所以:
Fn−1(x−y)={(x−y)n−1(n−1)!,0<y<x0,y>x F_{n-1}(x - y) = \begin{cases} \frac{(x - y)^{n-1}}{(n-1)!}, & 0 < y < x \\ 0, & y > x \end{cases} Fn−1(x−y)={(n−1)!(x−y)n−1,0,0<y<xy>x因此,积分可以截断到 $ y \in (0, x) $:
Fn(x)=∫0xFn−1(x−y) dy=∫0x(x−y)n−1(n−1)! dy F_n(x) = \int_0^x F_{n-1}(x - y)\,dy = \int_0^x \frac{(x - y)^{n-1}}{(n-1)!}\,dy Fn(x)=∫0xFn−1(x−y)dy=∫0x(n−1)!(x−y)n−1dy
令 $ u = x - y $,则:
- $ y = 0 \Rightarrow u = x $
- $ y = x \Rightarrow u = 0 $
- $ dy = -du $
所以:
Fn(x)=∫u=xu=0un−1(n−1)!(−du)=∫0xun−1(n−1)! du F_n(x) = \int_{u=x}^{u=0} \frac{u^{n-1}}{(n-1)!} (-du) = \int_0^x \frac{u^{n-1}}{(n-1)!}\,du Fn(x)=∫u=xu=0(n−1)!un−1(−du)=∫0x(n−1)!un−1du
=1(n−1)!∫0xun−1 du=1(n−1)!⋅xnn=xnn! = \frac{1}{(n-1)!} \int_0^x u^{n-1}\,du = \frac{1}{(n-1)!} \cdot \frac{x^n}{n} = \frac{x^n}{n!} =(n−1)!1∫0xun−1du=(n−1)!1⋅nxn=n!xn
得证
应用:求 $ E[N] $:平均需要多少个 $ (0,1) $ 均匀随机变量之和首次超过 1
设 $ X_1, X_2, \ldots $ 是独立同分布于 $ (0,1) $ 的均匀随机变量。定义:
N=min{n≥1:X1+X2+⋯+Xn>1} N = \min\{ n \geq 1 : X_1 + X_2 + \cdots + X_n > 1 \} N=min{n≥1:X1+X2+⋯+Xn>1}
即:$ N $ 是使得前 $ n $ 个随机变量之和首次超过 1 的最小正整数。
事件 $ {N > n} $ 表示:“前 $ n $ 个变量之和仍未超过 1”,即:
P{N>n}=P(∑i=1nXi≤1) P\{N > n\} = P\left( \sum_{i=1}^n X_i \leq 1 \right) P{N>n}=P(i=1∑nXi≤1)
记 $ F_n(x) = P\left( \sum_{i=1}^n X_i \leq x \right) $,则:
P{N>n}=Fn(1) P\{N > n\} = F_n(1) P{N>n}=Fn(1)
由前面已证结论(数学归纳法):
当 $ 0 \leq x \leq 1 $ 时,有 $ F_n(x) = \dfrac{x^n}{n!} $
取 $ x = 1 $,得:
Fn(1)=1nn!=1n! F_n(1) = \frac{1^n}{n!} = \frac{1}{n!} Fn(1)=n!1n=n!1
因此:
P{N>n}=1n!,对所有 n≥0 \boxed{P\{N > n\} = \frac{1}{n!}, \quad \text{对所有 } n \geq 0} P{N>n}=n!1,对所有 n≥0
求 $ P{N = n} $
利用恒等式:
P{N=n}=P{N>n−1}−P{N>n}
P\{N = n\} = P\{N > n - 1\} - P\{N > n\}
P{N=n}=P{N>n−1}−P{N>n}
代入 $ P{N > n} = \frac{1}{n!} $,得:
P{N=n}=1(n−1)!−1n!=nn!−1n!=n−1n!,n≥1 P\{N = n\} = \frac{1}{(n-1)!} - \frac{1}{n!} = \frac{n}{n!} - \frac{1}{n!} = \frac{n - 1}{n!}, \quad n \geq 1 P{N=n}=(n−1)!1−n!1=n!n−n!1=n!n−1,n≥1
由于 $ N $ 是取正整数值的随机变量,其期望可用以下公式计算:
E[N]=∑n=1∞n⋅P{N=n} E[N] = \sum_{n=1}^{\infty} n \cdot P\{N = n\} E[N]=n=1∑∞n⋅P{N=n}
代入 $ P{N = n} = \dfrac{1}{(n-1)!} - \dfrac{1}{n!} $:
E[N]=∑n=1∞n(1(n−1)!−1n!) E[N] = \sum_{n=1}^{\infty} n \left( \frac{1}{(n-1)!} - \frac{1}{n!} \right) E[N]=n=1∑∞n((n−1)!1−n!1)
展开:
=∑n=1∞(n(n−1)!−nn!)=∑n=1∞(n(n−1)!−1(n−1)!)=∑n=1∞n−1(n−1)! = \sum_{n=1}^{\infty} \left( \frac{n}{(n-1)!} - \frac{n}{n!} \right) = \sum_{n=1}^{\infty} \left( \frac{n}{(n-1)!} - \frac{1}{(n-1)!} \right) = \sum_{n=1}^{\infty} \frac{n - 1}{(n-1)!} =n=1∑∞((n−1)!n−n!n)=n=1∑∞((n−1)!n−(n−1)!1)=n=1∑∞(n−1)!n−1
令 $ k = n - 1 $,则当 $ n = 1 $ 时 $ k = 0 $,有:
E[N]=∑k=0∞kk! E[N] = \sum_{k=0}^{\infty} \frac{k}{k!} E[N]=k=0∑∞k!k
注意:当 $ k = 0 $ 时,$ \frac{k}{k!} = 0 $,所以可从 $ k = 1 $ 开始:
=∑k=1∞kk!=∑k=1∞1(k−1)! = \sum_{k=1}^{\infty} \frac{k}{k!} = \sum_{k=1}^{\infty} \frac{1}{(k-1)!} =k=1∑∞k!k=k=1∑∞(k−1)!1
再令 $ m = k - 1 $,得:
E[N]=∑m=0∞1m!=e E[N] = \sum_{m=0}^{\infty} \frac{1}{m!} = e E[N]=m=0∑∞m!1=e
E[N]=e≈2.71828 \boxed{E[N] = e \approx 2.71828} E[N]=e≈2.71828
6.3.2 Γ 随机变量
Γ 分布的概率密度函数为:
[!NOTE]
对于 $ t > 0 $,伽玛函数定义为:
Γ(t)=∫0∞xt−1e−x dx \Gamma(t) = \int_0^\infty x^{t-1} e^{-x} \, dx Γ(t)=∫0∞xt−1e−xdx
这个积分对所有 $ t > 0 $ 都收敛。
当 $ t $ 是正整数时,有:
Γ(n)=(n−1)! \Gamma(n) = (n-1)! Γ(n)=(n−1)!
f(y)=λe−λy(λy)t−1Γ(t),y>0 f(y) = \frac{\lambda e^{-\lambda y} (\lambda y)^{t-1}}{\Gamma(t)}, \quad y > 0 f(y)=Γ(t)λe−λy(λy)t−1,y>0
参数为 $ (t, \lambda) $,记作 $ Y \sim \Gamma(t, \lambda) $。
命题 3.1(Γ 分布在卷积下封闭)
若 $ X \sim \Gamma(s, \lambda) ,,, Y \sim \Gamma(t, \lambda) $,且 $ X,Y $ 独立,则 $ X+Y \sim \Gamma(s+t, \lambda) $
证明:
由卷积公式 (3.2):
fX+Y(a)=∫0afX(a−y)fY(y) dy f_{X+Y}(a) = \int_0^a f_X(a - y) f_Y(y)\,dy fX+Y(a)=∫0afX(a−y)fY(y)dy
代入密度函数:
fX+Y(a)=∫0aλe−λ(a−y)[λ(a−y)]s−1Γ(s)⋅λe−λy(λy)t−1Γ(t) dy f_{X+Y}(a) = \int_0^a \frac{\lambda e^{-\lambda(a-y)} [\lambda(a-y)]^{s-1}}{\Gamma(s)} \cdot \frac{\lambda e^{-\lambda y} (\lambda y)^{t-1}}{\Gamma(t)}\,dy fX+Y(a)=∫0aΓ(s)λe−λ(a−y)[λ(a−y)]s−1⋅Γ(t)λe−λy(λy)t−1dy
=λs+te−λaΓ(s)Γ(t)∫0a(a−y)s−1yt−1 dy = \frac{\lambda^{s+t} e^{-\lambda a}}{\Gamma(s)\Gamma(t)} \int_0^a (a - y)^{s-1} y^{t-1}\,dy =Γ(s)Γ(t)λs+te−λa∫0a(a−y)s−1yt−1dy
令 $ y = a x $,则 $ dy = a dx $,积分变为:
∫0a(a−y)s−1yt−1 dy=as+t−1∫01(1−x)s−1xt−1 dx=as+t−1B(s,t) \int_0^a (a - y)^{s-1} y^{t-1}\,dy = a^{s+t-1} \int_0^1 (1 - x)^{s-1} x^{t-1}\,dx = a^{s+t-1} B(s,t) ∫0a(a−y)s−1yt−1dy=as+t−1∫01(1−x)s−1xt−1dx=as+t−1B(s,t)
其中 $ B(s,t) = \frac{\Gamma(s)\Gamma(t)}{\Gamma(s+t)} $ 是 Beta 函数。
代入得:
fX+Y(a)=λs+te−λaΓ(s)Γ(t)⋅as+t−1⋅Γ(s)Γ(t)Γ(s+t)=λe−λa(λa)s+t−1Γ(s+t) f_{X+Y}(a) = \frac{\lambda^{s+t} e^{-\lambda a}}{\Gamma(s)\Gamma(t)} \cdot a^{s+t-1} \cdot \frac{\Gamma(s)\Gamma(t)}{\Gamma(s+t)} = \frac{\lambda e^{-\lambda a} (\lambda a)^{s+t-1}}{\Gamma(s+t)} fX+Y(a)=Γ(s)Γ(t)λs+te−λa⋅as+t−1⋅Γ(s+t)Γ(s)Γ(t)=Γ(s+t)λe−λa(λa)s+t−1
即 $ X+Y \sim \Gamma(s+t, \lambda) $
得证
推论:
若 $ X_i \sim \Gamma(t_i, \lambda) $,且独立,则:
∑i=1nXi∼Γ(∑i=1nti,λ) \sum_{i=1}^n X_i \sim \Gamma\left( \sum_{i=1}^n t_i, \lambda \right) i=1∑nXi∼Γ(i=1∑nti,λ)
例 3b:设 $ X_1, \ldots, X_n $ 为独立同分布指数随机变量,参数 $ \lambda $,则每个 $ X_i \sim \Gamma(1, \lambda) $,故:
∑i=1nXi∼Γ(n,λ)
\sum_{i=1}^n X_i \sim \Gamma(n, \lambda)
i=1∑nXi∼Γ(n,λ)
卡方分布与 Γ 分布的关系
设 $ Z_1, \ldots, Z_n $ 为独立标准正态随机变量,定义:
Y=∑i=1nZi2∼χ2(n) Y = \sum_{i=1}^n Z_i^2 \sim \chi^2(n) Y=i=1∑nZi2∼χ2(n)
当 $ n = 1 ,,, Y = Z_1^2 $,计算其密度函数
设 $ Z \sim N(0, 1) $,即标准正态分布:
fZ(z)=12πe−z2/2,−∞<z<∞ f_Z(z) = \frac{1}{\sqrt{2\pi}} e^{-z^2/2}, \quad -\infty < z < \infty fZ(z)=2π1e−z2/2,−∞<z<∞
定义:
Y=Z2
Y = Z^2
Y=Z2
求 $ Y $ 的概率密度函数 $ f_Y(y) $,并证明:
fY(y)=12π⋅e−y/2y,y>0 f_Y(y) = \frac{1}{\sqrt{2\pi}} \cdot \frac{e^{-y/2}}{\sqrt{y}}, \quad y > 0 fY(y)=2π1⋅ye−y/2,y>0
第一步:求 F_Y(y) $
对于 $ y > 0 $:
FY(y)=P(Y≤y)=P(Z2≤y)=P(−y≤Z≤y) F_Y(y) = P(Y \leq y) = P(Z^2 \leq y) = P(-\sqrt{y} \leq Z \leq \sqrt{y}) FY(y)=P(Y≤y)=P(Z2≤y)=P(−y≤Z≤y)
利用标准正态分布的对称性:
FY(y)=∫−yyfZ(z) dz=∫−yy12πe−z2/2 dz F_Y(y) = \int_{-\sqrt{y}}^{\sqrt{y}} f_Z(z)\,dz = \int_{-\sqrt{y}}^{\sqrt{y}} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz FY(y)=∫−yyfZ(z)dz=∫−yy2π1e−z2/2dz
由于被积函数是偶函数,可化简为:
FY(y)=2∫0y12πe−z2/2 dz F_Y(y) = 2 \int_0^{\sqrt{y}} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz FY(y)=2∫0y2π1e−z2/2dz
fY(y)=ddyFY(y)=ddy[2∫0y12πe−z2/2 dz] f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} \left[ 2 \int_0^{\sqrt{y}} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz \right] fY(y)=dydFY(y)=dyd[2∫0y2π1e−z2/2dz]
使用变上限积分求导法则:
[!TIP]
变限积分是指:积分的上限或下限是变量,而不是常数。
例如:
F(x)=∫0xet2dt或G(x)=∫x2xsin(t)dt F(x) = \int_0^x e^{t^2} dt \quad \text{或} \quad G(x) = \int_x^{2x} \sin(t) dt F(x)=∫0xet2dt或G(x)=∫x2xsin(t)dt
这里的积分上限或下限依赖于 $ x $,所以 $ F(x) $ 和 $ G(x) $ 都是关于 $ x $ 的函数。
如果:
F(x)=∫au(x)f(t) dt F(x) = \int_a^{u(x)} f(t)\,dt F(x)=∫au(x)f(t)dt
那么:
ddxF(x)=f(u(x))⋅u′(x) \frac{d}{dx} F(x) = f(u(x)) \cdot u'(x) dxdF(x)=f(u(x))⋅u′(x)F(x)=∫0x2e−tdt⇒F′(x)=e−(x2)⋅(2x)=2xe−x2 F(x) = \int_0^{x^2} e^{-t} dt \Rightarrow F'(x) = e^{-(x^2)} \cdot (2x) = 2x e^{-x^2} F(x)=∫0x2e−tdt⇒F′(x)=e−(x2)⋅(2x)=2xe−x2
如果:
F(x)=∫v(x)bf(t) dt F(x) = \int_{v(x)}^b f(t)\,dt F(x)=∫v(x)bf(t)dt
那么:
ddxF(x)=−f(v(x))⋅v′(x) \frac{d}{dx} F(x) = -f(v(x)) \cdot v'(x) dxdF(x)=−f(v(x))⋅v′(x)F(x)=∫x111+t2dt⇒F′(x)=−11+x2⋅(1)=−11+x2 F(x) = \int_x^1 \frac{1}{1+t^2} dt \Rightarrow F'(x) = -\frac{1}{1+x^2} \cdot (1) = -\frac{1}{1+x^2} F(x)=∫x11+t21dt⇒F′(x)=−1+x21⋅(1)=−1+x21
如果:
F(x)=∫v(x)u(x)f(t) dt F(x) = \int_{v(x)}^{u(x)} f(t)\,dt F(x)=∫v(x)u(x)f(t)dt
那么:
ddxF(x)=f(u(x))⋅u′(x)−f(v(x))⋅v′(x)。 \frac{d}{dx} F(x) = f(u(x)) \cdot u'(x) \quad - \quad f(v(x)) \cdot v'(x)。 dxdF(x)=f(u(x))⋅u′(x)−f(v(x))⋅v′(x)。F(x)=∫xx2lnt dt⇒F′(x)=ln(x2)⋅(2x)−ln(x)⋅(12x) F(x) = \int_{\sqrt{x}}^{x^2} \ln t \, dt \Rightarrow F'(x) = \ln(x^2) \cdot (2x) - \ln(\sqrt{x}) \cdot \left( \frac{1}{2\sqrt{x}} \right) F(x)=∫xx2lntdt⇒F′(x)=ln(x2)⋅(2x)−ln(x)⋅(2x1)
化简:
- $ \ln(x^2) = 2\ln x $
- $ \ln(\sqrt{x}) = \frac{1}{2}\ln x $
所以:
F′(x)=(2lnx)(2x)−(12lnx)(12x)=4xlnx−lnx4x F'(x) = (2\ln x)(2x) - \left( \frac{1}{2}\ln x \right)\left( \frac{1}{2\sqrt{x}} \right) = 4x \ln x - \frac{\ln x}{4\sqrt{x}} F′(x)=(2lnx)(2x)−(21lnx)(2x1)=4xlnx−4xlnx
令 $ u = \sqrt{y} $,则:
ddy∫0yg(z) dz=g(y)⋅ddy(y)=g(y)⋅12y \frac{d}{dy} \int_0^{\sqrt{y}} g(z)\,dz = g(\sqrt{y}) \cdot \frac{d}{dy}(\sqrt{y}) = g(\sqrt{y}) \cdot \frac{1}{2\sqrt{y}} dyd∫0yg(z)dz=g(y)⋅dyd(y)=g(y)⋅2y1
所以:
fY(y)=2⋅12πe−(y)2/2⋅12y=12π⋅e−y/2y f_Y(y) = 2 \cdot \frac{1}{\sqrt{2\pi}} e^{-(\sqrt{y})^2 / 2} \cdot \frac{1}{2\sqrt{y}} = \frac{1}{\sqrt{2\pi}} \cdot \frac{e^{-y/2}}{\sqrt{y}} fY(y)=2⋅2π1e−(y)2/2⋅2y1=2π1⋅ye−y/2
得到结果:
fY(y)=12π⋅e−y/2y,y>0 \boxed{f_Y(y) = \frac{1}{\sqrt{2\pi}} \cdot \frac{e^{-y/2}}{\sqrt{y}}, \quad y > 0} fY(y)=2π1⋅ye−y/2,y>0
对比 Γ 分布形式,可见 $ Z_1^2 \sim \Gamma\left( \frac{1}{2}, \frac{1}{2} \right) $
由于每个 $ Z_i^2 \sim \Gamma\left( \frac{1}{2}, \frac{1}{2} \right) $,且独立,由命题 3.1:
∑i=1nZi2∼Γ(n2,12) \sum_{i=1}^n Z_i^2 \sim \Gamma\left( \frac{n}{2}, \frac{1}{2} \right) i=1∑nZi2∼Γ(2n,21)
即自由度为 $ n $ 的 $ \chi^2 $ 分布等价于 $ \Gamma\left( \frac{n}{2}, \frac{1}{2} \right) $
密度函数为:
fY(y)=e−y/2yn/2−12n/2Γ(n/2),y>0 f_Y(y) = \frac{e^{-y/2} y^{n/2 - 1}}{2^{n/2} \Gamma(n/2)}, \quad y > 0 fY(y)=2n/2Γ(n/2)e−y/2yn/2−1,y>0
6.3.3 正态随机变量
线性组合
命题 3.2
若 $ X_i \sim N(\mu_i, \sigma_i^2) $,且相互独立,则 $ \sum_{i=1}^n X_i \sim N\left( \sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2 \right) $
证明(以 $ n=2 $ 为例):
先考虑 $ X \sim N(0, \sigma^2) ,,, Y \sim N(0,1) $,独立。
由卷积公式:
fX+Y(a)=∫−∞∞fX(a−y)fY(y) dy f_{X+Y}(a) = \int_{-\infty}^{\infty} f_X(a - y) f_Y(y)\,dy fX+Y(a)=∫−∞∞fX(a−y)fY(y)dy
=∫−∞∞12πσ2e−(a−y)2/(2σ2)⋅12πe−y2/2 dy = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-(a-y)^2/(2\sigma^2)} \cdot \frac{1}{\sqrt{2\pi}} e^{-y^2/2} \,dy =∫−∞∞2πσ21e−(a−y)2/(2σ2)⋅2π1e−y2/2dy
合并指数项:
=12πσexp(−a22σ2)∫−∞∞exp(−[(a−y)22σ2+y22])dy = \frac{1}{2\pi\sigma} \exp\left( -\frac{a^2}{2\sigma^2} \right) \int_{-\infty}^{\infty} \exp\left( -\left[ \frac{(a-y)^2}{2\sigma^2} + \frac{y^2}{2} \right] \right) dy =2πσ1exp(−2σ2a2)∫−∞∞exp(−[2σ2(a−y)2+2y2])dy
展开平方项并配方,最终可得:
fX+Y(a)=C⋅exp(−a22(1+σ2)) f_{X+Y}(a) = C \cdot \exp\left( -\frac{a^2}{2(1 + \sigma^2)} \right) fX+Y(a)=C⋅exp(−2(1+σ2)a2)
说明 $ X+Y \sim N(0, 1+\sigma^2) $
推广到一般情况有
设 $ X_1 \sim N(\mu_1, \sigma_1^2) ,,, X_2 \sim N(\mu_2, \sigma_2^2) $,独立。
我们想证:
X1+X2∼N(μ1+μ2,σ12+σ22)
X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
X1+X2∼N(μ1+μ2,σ12+σ22)
令:
Z1=X1−μ1σ1∼N(0,1),Z2=X2−μ2σ2∼N(0,1)⇒X1=σ1Z1+μ1,X2=σ2Z2+μ2
Z_1 = \frac{X_1 - \mu_1}{\sigma_1} \sim N(0,1), \quad
Z_2 = \frac{X_2 - \mu_2}{\sigma_2} \sim N(0,1)
\Rightarrow X_1 = \sigma_1 Z_1 + \mu_1, \quad X_2 = \sigma_2 Z_2 + \mu_2
Z1=σ1X1−μ1∼N(0,1),Z2=σ2X2−μ2∼N(0,1)⇒X1=σ1Z1+μ1,X2=σ2Z2+μ2
所以:
X1+X2=σ1Z1+σ2Z2+μ1+μ2
X_1 + X_2 = \sigma_1 Z_1 + \sigma_2 Z_2 + \mu_1 + \mu_2
X1+X2=σ1Z1+σ2Z2+μ1+μ2
因为线性组合仍服从正态分布(正态分布在线性变换下封闭),所以:
X1+X2∼N(μ1+μ2,σ12+σ22)
X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
X1+X2∼N(μ1+μ2,σ12+σ22)
例 3c:篮球比赛胜负的正态近似
一支球队打了 44 场比赛:
- 26 场对“甲级队”,每场获胜概率 $ p_A = 0.4 $
- 18 场对“乙级队”,每场获胜概率 $ p_B = 0.7 $
- 所有比赛结果相互独立
定义:
- $ X_A \sim \text{Bin}(26, 0.4) $:对甲级队赢的场数
- $ X_B \sim \text{Bin}(18, 0.7) $:对乙级队赢的场数
目标是计算两个概率:
- (a) 总胜场超过 25 场的概率:$ P(X_A + X_B > 25) $
- (b) 对甲级队赢的场数多于对乙级队的概率:$ P(X_A > X_B) $
对于二项分布 $ X \sim \text{Bin}(n, p) $:
- $ \mathbb{E}[X] = np $
- $ \mathrm{Var}(X) = np(1-p) $
所以:
变量 | $ n $ | $ p $ | $ \mathbb{E}[X] $ | $ \mathrm{Var}(X) $ |
---|---|---|---|---|
$ X_A $ | 26 | 0.4 | $ 26 \times 0.4 = 10.4 $ | $ 26 \times 0.4 \times 0.6 = 6.24 $ |
$ X_B $ | 18 | 0.7 | $ 18 \times 0.7 = 12.6 $ | $ 18 \times 0.7 \times 0.3 = 3.78 $ |
(a) $ P(X_A + X_B \geq 25) $
由于 $ S $ 是取整数值的离散随机变量,而正态分布是连续的,需使用连续性修正。
我们要求:
P(S≥25)
P(S \geq 25)
P(S≥25)
连续性修正后近似为:
P(S≥25)≈P(Snorm≥24.5)
P(S \geq 25) \approx P(S_{\text{norm}} \geq 24.5)
P(S≥25)≈P(Snorm≥24.5)
标准化:
Z=24.5−2310.02=1.510.02≈1.53.1657≈0.4739
Z = \frac{24.5 - 23}{\sqrt{10.02}} = \frac{1.5}{\sqrt{10.02}} \approx \frac{1.5}{3.1657} \approx 0.4739
Z=10.0224.5−23=10.021.5≈3.16571.5≈0.4739
查标准正态分布表得:
P(Z<0.4739)≈0.6822⇒P(Z≥0.4739)=1−0.6822=0.3178
P(Z < 0.4739) \approx 0.6822
\Rightarrow P(Z \geq 0.4739) = 1 - 0.6822 = \boxed{0.3178}
P(Z<0.4739)≈0.6822⇒P(Z≥0.4739)=1−0.6822=0.3178
因此:
P(XA+XB≥25)≈0.3178
P(X_A + X_B \geq 25) \approx 0.3178
P(XA+XB≥25)≈0.3178
(b) P(XA>XB)=P(XA−XB≥1)P(X_A > X_B) = P(X_A - X_B \geq 1)P(XA>XB)=P(XA−XB≥1)
定义差值变量:
D=XA−XB
D = X_A - X_B
D=XA−XB
由于 $ X_A $ 与 $ X_B $ 独立,且均近似正态,故 $ D $ 也近似正态分布:
- $ \mathbb{E}[D] = 10.4 - 12.6 = -2.2 $
- $ \mathrm{Var}(D) = \mathrm{Var}(X_A) + \mathrm{Var}(X_B) = 6.24 + 3.78 = 10.02 $
- 所以 $ D \approx N(-2.2,\ 10.02) $
事件 $ X_A > X_B $ 等价于 $ D \geq 1 $,由于 $ D $ 为整数变量,使用连续性修正:
P(D≥1)≈P(Dnorm≥0.5) P(D \geq 1) \approx P(D_{\text{norm}} \geq 0.5) P(D≥1)≈P(Dnorm≥0.5)
标准化:
Z=0.5−(−2.2)10.02=2.710.02≈2.73.1657≈0.8530
Z = \frac{0.5 - (-2.2)}{\sqrt{10.02}} = \frac{2.7}{\sqrt{10.02}} \approx \frac{2.7}{3.1657} \approx 0.8530
Z=10.020.5−(−2.2)=10.022.7≈3.16572.7≈0.8530
查表得:
P(Z<0.8530)≈0.8032⇒P(Z≥0.8530)=1−0.8032=0.1968
P(Z < 0.8530) \approx 0.8032
\Rightarrow P(Z \geq 0.8530) = 1 - 0.8032 = \boxed{0.1968}
P(Z<0.8530)≈0.8032⇒P(Z≥0.8530)=1−0.8032=0.1968
因此:
P(XA>XB)≈0.1968
P(X_A > X_B) \approx 0.1968
P(XA>XB)≈0.1968
对数正态分布
若 $ \ln Y \sim N(\mu, \sigma^2) $,则称 $ Y $ 为对数正态随机变量,记作 $ Y \sim \text{Lognormal}(\mu, \sigma^2) $
等价地,若 $ X \sim N(\mu, \sigma^2) $,则 $ Y = e^X \sim \text{Lognormal}(\mu, \sigma^2) $
例 3d:证券价格模型
设 $ S(n) $ 表示第 $ n $ 周的股价,假设 $ \frac{S(n)}{S(n-1)} \sim \text{Lognormal}(\mu, \sigma) $,参数 $ \mu = 0.0165 ,,, \sigma = 0.0730 $
即 $ \ln\left( \frac{S(n)}{S(n-1)} \right) \sim N(0.0165, 0.0730^2) $
(a) 接下来两周价格都上涨:
计算连续两周都上涨的概率:
P(第1周涨)×P(第2周涨)
P\left( \text{第1周涨} \right) \times P\left( \text{第2周涨} \right)
P(第1周涨)×P(第2周涨)
由于每周独立,且同分布,只需先算一周上涨的概率,再平方。
上涨 ⇨ $ \frac{S(1)}{S(0)} > 1 $
取对数:
ln(S(1)S(0))>0
\ln\left( \frac{S(1)}{S(0)} \right) > 0
ln(S(0)S(1))>0
令:
X=ln(S(1)S(0))∼N(0.0165, 0.07302)
X = \ln\left( \frac{S(1)}{S(0)} \right) \sim N(0.0165,\ 0.0730^2)
X=ln(S(0)S(1))∼N(0.0165, 0.07302)
我们要求:
P(X>0)
P(X > 0)
P(X>0)
标准化为标准正态变量 $ Z \sim N(0,1) $:
P(X>0)=P(Z>0−0.01650.0730)=P(Z>−0.01650.0730) P(X > 0) = P\left( Z > \frac{0 - 0.0165}{0.0730} \right) = P\left( Z > -\frac{0.0165}{0.0730} \right) P(X>0)=P(Z>0.07300−0.0165)=P(Z>−0.07300.0165)
计算:
0.01650.0730≈0.2260⇒P(Z>−0.2260)
\frac{0.0165}{0.0730} \approx 0.2260
\Rightarrow P(Z > -0.2260)
0.07300.0165≈0.2260⇒P(Z>−0.2260)
利用标准正态的对称性:
P(Z>−a)=P(Z<a)⇒P(Z>−0.2260)=P(Z<0.2260)
P(Z > -a) = P(Z < a)
\Rightarrow P(Z > -0.2260) = P(Z < 0.2260)
P(Z>−a)=P(Z<a)⇒P(Z>−0.2260)=P(Z<0.2260)
查标准正态表:
- $ P(Z < 0.22) \approx 0.5871 $
- $ P(Z < 0.23) \approx 0.5910 $
- 插值得 $ P(Z < 0.2260) \approx 0.5894 $
P(单周上涨)=0.5894 P(\text{单周上涨}) = 0.5894 P(单周上涨)=0.5894
由于独立:
P(第一周涨且第二周涨)=P(第一周涨)×P(第二周涨)=(0.5894)2
P(\text{第一周涨且第二周涨}) = P(\text{第一周涨}) \times P(\text{第二周涨}) = (0.5894)^2
P(第一周涨且第二周涨)=P(第一周涨)×P(第二周涨)=(0.5894)2
计算:
0.58942≈0.3474
0.5894^2 \approx 0.3474
0.58942≈0.3474
P(连续两周上涨)≈0.3474 \boxed{P(\text{连续两周上涨}) \approx 0.3474} P(连续两周上涨)≈0.3474
(b) 两周后比现在高:
这次不是要求“每周都涨”,而是只要最终价格高于初始价格即可。
即:
S(2)S(0)>1⇒ln(S(2)S(0))>0
\frac{S(2)}{S(0)} > 1
\Rightarrow \ln\left( \frac{S(2)}{S(0)} \right) > 0
S(0)S(2)>1⇒ln(S(0)S(2))>0
ln(S(2)S(0))=ln(S(2)S(1)⋅S(1)S(0))=ln(S(2)S(1))+ln(S(1)S(0)) \ln\left( \frac{S(2)}{S(0)} \right) = \ln\left( \frac{S(2)}{S(1)} \cdot \frac{S(1)}{S(0)} \right) = \ln\left( \frac{S(2)}{S(1)} \right) + \ln\left( \frac{S(1)}{S(0)} \right) ln(S(0)S(2))=ln(S(1)S(2)⋅S(0)S(1))=ln(S(1)S(2))+ln(S(0)S(1))
令:
- $ X_1 = \ln\left( \frac{S(1)}{S(0)} \right) \sim N(0.0165, 0.0730^2) $
- $ X_2 = \ln\left( \frac{S(2)}{S(1)} \right) \sim N(0.0165, 0.0730^2) $
- 且 $ X_1, X_2 $ 独立
所以:
X1+X2∼N(0.0165+0.0165, 0.07302+0.07302)=N(0.0330, 2×0.07302)
X_1 + X_2 \sim N(0.0165 + 0.0165,\ 0.0730^2 + 0.0730^2) = N(0.0330,\ 2 \times 0.0730^2)
X1+X2∼N(0.0165+0.0165, 0.07302+0.07302)=N(0.0330, 2×0.07302)
P(X1+X2>0)=P(Z>0−0.03300.1032)=P(Z>−0.03300.1032) P(X_1 + X_2 > 0) = P\left( Z > \frac{0 - 0.0330}{0.1032} \right) = P\left( Z > -\frac{0.0330}{0.1032} \right) P(X1+X2>0)=P(Z>0.10320−0.0330)=P(Z>−0.10320.0330)
计算:
0.03300.1032≈0.31965⇒P(Z>−0.31965)=P(Z<0.31965)
\frac{0.0330}{0.1032} \approx 0.31965
\Rightarrow P(Z > -0.31965) = P(Z < 0.31965)
0.10320.0330≈0.31965⇒P(Z>−0.31965)=P(Z<0.31965)
查表:
- $ P(Z < 0.31) \approx 0.6217 $
- $ P(Z < 0.32) \approx 0.6255 $
- 插值得 $ \approx 0.6254 $
所以:
P(S(2)S(0)>1)≈0.6254
P\left( \frac{S(2)}{S(0)} > 1 \right) \approx 0.6254
P(S(0)S(2)>1)≈0.6254
6.3.4 泊松随机变量
设 $ X \sim \text{Poisson}(\lambda_1) ,,, Y \sim \text{Poisson}(\lambda_2) $,独立。
则:
P(X+Y=n)=∑k=0nP(X=k)P(Y=n−k)=∑k=0ne−λ1λ1kk!e−λ2λ2n−k(n−k)! P(X+Y = n) = \sum_{k=0}^n P(X=k)P(Y=n-k) = \sum_{k=0}^n e^{-\lambda_1} \frac{\lambda_1^k}{k!} e^{-\lambda_2} \frac{\lambda_2^{n-k}}{(n-k)!} P(X+Y=n)=k=0∑nP(X=k)P(Y=n−k)=k=0∑ne−λ1k!λ1ke−λ2(n−k)!λ2n−k
=e−(λ1+λ2)∑k=0nλ1kλ2n−kk!(n−k)!=e−(λ1+λ2)n!(λ1+λ2)n = e^{-(\lambda_1+\lambda_2)} \sum_{k=0}^n \frac{\lambda_1^k \lambda_2^{n-k}}{k!(n-k)!} = \frac{e^{-(\lambda_1+\lambda_2)}}{n!} (\lambda_1 + \lambda_2)^n =e−(λ1+λ2)k=0∑nk!(n−k)!λ1kλ2n−k=n!e−(λ1+λ2)(λ1+λ2)n
即 $ X+Y \sim \text{Poisson}(\lambda_1 + \lambda_2) $
6.3.5 二项随机变量
设 $ X \sim \text{Bin}(n,p) ,,, Y \sim \text{Bin}(m,p) $,独立。
直观理解:$ X $ 是 $ n $ 次伯努利试验的成功次数,$ Y $ 是另 $ m $ 次的成功次数,总和为 $ n+m $ 次试验的成功次数 → $ X+Y \sim \text{Bin}(n+m, p) $
P(X+Y=k)=∑i=0nP(X=i)P(Y=k−i)=∑i=0n(ni)piqn−i(mk−i)pk−iqm−k+i P(X+Y = k) = \sum_{i=0}^n P(X=i)P(Y=k-i) = \sum_{i=0}^n \binom{n}{i} p^i q^{n-i} \binom{m}{k-i} p^{k-i} q^{m-k+i} P(X+Y=k)=i=0∑nP(X=i)P(Y=k−i)=i=0∑n(in)piqn−i(k−im)pk−iqm−k+i
=pkqn+m−k∑i=0n(ni)(mk−i) = p^k q^{n+m-k} \sum_{i=0}^n \binom{n}{i} \binom{m}{k-i} =pkqn+m−ki=0∑n(in)(k−im)
利用组合恒等式:
∑i=0n(ni)(mk−i)=(n+mk) \sum_{i=0}^n \binom{n}{i} \binom{m}{k-i} = \binom{n+m}{k} i=0∑n(in)(k−im)=(kn+m)
故:
P(X+Y=k)=(n+mk)pkqn+m−k P(X+Y = k) = \binom{n+m}{k} p^k q^{n+m-k} P(X+Y=k)=(kn+m)pkqn+m−k
即 $ X+Y \sim \text{Bin}(n+m, p) $
6.4 离散情形下的条件分布
对于事件 $ E,F $,若 $ P(F) > 0 $,则条件概率定义为:
P(E∣F)=P(E∩F)P(F) P(E|F) = \frac{P(E \cap F)}{P(F)} P(E∣F)=P(F)P(E∩F)
若 $ X,Y $ 为离散型随机变量,则在 $ Y=y $ 条件下,$ X $ 的条件分布列为:
pX∣Y(x∣y)=P(X=x∣Y=y)=P(X=x,Y=y)P(Y=y)=p(x,y)pY(y),当 pY(y)>0 p_{X|Y}(x|y) = P(X = x | Y = y) = \frac{P(X=x, Y=y)}{P(Y=y)} = \frac{p(x,y)}{p_Y(y)}, \quad \text{当 } p_Y(y) > 0 pX∣Y(x∣y)=P(X=x∣Y=y)=P(Y=y)P(X=x,Y=y)=pY(y)p(x,y),当 pY(y)>0
相应的条件分布函数为:
FX∣Y(x∣y)=P(X≤x∣Y=y)=∑a≤xpX∣Y(a∣y) F_{X|Y}(x|y) = P(X \leq x | Y = y) = \sum_{a \leq x} p_{X|Y}(a|y) FX∣Y(x∣y)=P(X≤x∣Y=y)=a≤x∑pX∣Y(a∣y)
若 $ X,Y $ 独立,则:
pX∣Y(x∣y)=P(X=x) p_{X|Y}(x|y) = P(X=x) pX∣Y(x∣y)=P(X=x)
即条件分布等于边缘分布。
例 4a:给定联合分布求条件分布
联合分布:
- $ p(0,0) = 0.4 $
- $ p(0,1) = 0.2 $
- $ p(1,0) = 0.1 $
- $ p(1,1) = 0.3 $
求 $ p_{X|Y}(x|1) $
先求 $ p_Y(1) = p(0,1) + p(1,1) = 0.2 + 0.3 = 0.5 $
则:
- $ p_{X|Y}(0|1) = \frac{0.2}{0.5} = 0.4 $
- $ p_{X|Y}(1|1) = \frac{0.3}{0.5} = 0.6 $
例 4b:给定 $ X+Y=n $,求 $ X $ 的条件分布
设 $ X \sim \text{Poisson}(\lambda_1) ,,, Y \sim \text{Poisson}(\lambda_2) $,独立。
则 $ X+Y \sim \text{Poisson}(\lambda_1 + \lambda_2) $
P(X=k∣X+Y=n)=P(X=k,Y=n−k)P(X+Y=n)=e−λ1λ1kk!e−λ2λ2n−k(n−k)!e−(λ1+λ2)(λ1+λ2)nn! P(X = k | X+Y = n) = \frac{P(X=k, Y=n-k)}{P(X+Y=n)} = \frac{e^{-\lambda_1} \frac{\lambda_1^k}{k!} e^{-\lambda_2} \frac{\lambda_2^{n-k}}{(n-k)!}}{e^{-(\lambda_1+\lambda_2)} \frac{(\lambda_1+\lambda_2)^n}{n!}} P(X=k∣X+Y=n)=P(X+Y=n)P(X=k,Y=n−k)=e−(λ1+λ2)n!(λ1+λ2)ne−λ1k!λ1ke−λ2(n−k)!λ2n−k
=(nk)(λ1λ1+λ2)k(λ2λ1+λ2)n−k = \binom{n}{k} \left( \frac{\lambda_1}{\lambda_1 + \lambda_2} \right)^k \left( \frac{\lambda_2}{\lambda_1 + \lambda_2} \right)^{n-k} =(kn)(λ1+λ2λ1)k(λ1+λ2λ2)n−k
即条件分布为 $ \text{Binomial}\left(n, \frac{\lambda_1}{\lambda_1 + \lambda_2}\right) $
例 4c:多项分布的条件分布
多项分布是二项分布的推广,用于描述 $ n $ 次独立实验中,每次实验有 $ k $ 个互斥结果的情形。设第 $ i $ 个结果出现的概率为 $ p_i $,记 $ X_i $ 为该结果在 $ n $ 次实验中出现的次数,则随机向量:
(X1,X2,…,Xk)∼Multinomial(n;p1,p2,…,pk) (X_1, X_2, \ldots, X_k) \sim \text{Multinomial}(n; p_1, p_2, \ldots, p_k) (X1,X2,…,Xk)∼Multinomial(n;p1,p2,…,pk)
满足 $ \sum_{i=1}^k X_i = n $,且联合概率为:
P(X1=x1,…,Xk=xk)=n!x1!⋯xk!p1x1⋯pkxk,∑xi=n P(X_1 = x_1, \ldots, X_k = x_k) = \frac{n!}{x_1! \cdots x_k!} p_1^{x_1} \cdots p_k^{x_k}, \quad \sum x_i = n P(X1=x1,…,Xk=xk)=x1!⋯xk!n!p1x1⋯pkxk,∑xi=n
考虑将 $ k $ 个类别分为两组:
- 前 $ r $ 个类别:$ 1, 2, \ldots, r $
- 后 $ k - r $ 个类别:$ r+1, \ldots, k $
现假设我们已观察到后 $ k - r $ 个类别的具体取值:
Xr+1=nr+1,Xr+2=nr+2,…,Xk=nk X_{r+1} = n_{r+1},\quad X_{r+2} = n_{r+2},\quad \ldots,\quad X_k = n_k Xr+1=nr+1,Xr+2=nr+2,…,Xk=nk
令:
- $ m = \sum_{j=r+1}^k n_j $:已知部分的总频数
- $ F_r = \sum_{i=1}^r p_i $:前 $ r $ 个类别的总概率(归一化因子)
由于总试验次数为 $ n $,前 $ r $ 个类别的总频数必须为 $ n - m $。
结论
在给定 $ X_{r+1} = n_{r+1}, \ldots, X_k = n_k $ 的条件下,前 $ r $ 个变量的条件分布为:
(X1,…,Xr)∣(Xr+1=nr+1,…,Xk=nk)∼Multinomial(n−m;p1Fr,p2Fr,…,prFr) (X_1, \ldots, X_r) \mid (X_{r+1} = n_{r+1}, \ldots, X_k = n_k) \sim \text{Multinomial}\left(n - m; \frac{p_1}{F_r}, \frac{p_2}{F_r}, \ldots, \frac{p_r}{F_r} \right) (X1,…,Xr)∣(Xr+1=nr+1,…,Xk=nk)∼Multinomial(n−m;Frp1,Frp2,…,Frpr)
直观解释
- 已知有 $ m $ 次实验落在后 $ k - r $ 类中,剩下 $ n - m $ 次实验必然落在前 $ r $ 类中。
- 这些“剩余实验”在前 $ r $ 类之间的分配,仍服从多项分布。
- 但由于总概率 $ F_r < 1 $,必须将原概率 $ p_1, \ldots, p_r $ 归一化,使其和为 1,即使用 $ \frac{p_i}{F_r} $ 作为新类别概率。
这相当于:在已知结果不属于后 $ k - r $ 类的前提下,前 $ r $ 类的相对发生概率按比例调整。
例 4d:给定成功次数,所有序列等可能
在 $ n $ 次独立伯努利试验中,已知成功 $ k $ 次,则所有 $ \binom{n}{k} $ 种成功/失败序列等可能。
证明:
任一特定序列 $ \mathbf{o} $ 有 $ k $ 次成功,概率为 $ p^k (1-p)^{n-k} $
$ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} $
则:
P(o∣X=k)=P(o)P(X=k)=pk(1−p)n−k(nk)pk(1−p)n−k=1(nk) P(\mathbf{o} | X=k) = \frac{P(\mathbf{o})}{P(X=k)} = \frac{p^k (1-p)^{n-k}}{\binom{n}{k} p^k (1-p)^{n-k}} = \frac{1}{\binom{n}{k}} P(o∣X=k)=P(X=k)P(o)=(kn)pk(1−p)n−kpk(1−p)n−k=(kn)1
即等可能。
总结:
- 独立变量之和的分布可通过卷积(连续)或概率加法(离散)求得。
- 常见分布的和仍属于同族:正态、Γ、泊松、二项。
- 条件分布是理解联合分布结构的重要工具,尤其在贝叶斯推理中。