概率论基础教程第3章条件概率与独立性(三)

3.4 $P(\cdot |F)$ 是概率

公理

条件概率满足普通概率的所有性质。命题 5.1 证明了条件概率 $P(E|F)$ 满足概率的三条公理。

命题 5.1：
(a) $0\le P(E|F)\le 1$。
(b) $P(S|F)=1$。
© 若 $E_i$ ($i=1,2,\dots$) 为互不相容的事件序列，则
$$P\left(\bigcup _{i=1}^{\infty }{E}_i|F\right)=\sum _{i=1}^{\infty }P(E_i|F)$$

证明：
(a) 由 $0\le P(EF)\le P(F)$，可得 $0\le \frac{P(EF)}{P(F)}\le 1$。
(b) $P(S|F)=\frac{P(SF)}{P(F)}=\frac{P(F)}{P(F)}=1$。
©
$$\begin{array}{rl}P\left(\bigcup _{i=1}^{\infty }{E}_i|F\right)& =\frac{P\left(\left({\bigcup }_{i=1}^{\infty }{E}_i\right)F\right)}{P(F)}=\frac{P\left({\bigcup }_{i=1}^{\infty }{E}_{i}F\right)}{P(F)}\\ & =\frac{{\sum }_{i=1}^{\infty }P(E_{i}F)}{P(F)}=\sum _{i=1}^{\infty }P(E_i|F)\end{array}$$

如果我们定义 $Q(E)=P(E|F)$，那么根据命题 5.1，$Q(E)$ 可以视为关于样本空间 $S$ 中事件的概率函数。因此，前面证明的关于概率的命题它都满足。例如：
$$Q(E_1\cup E_2)=Q(E_1)+Q(E_2)-Q(E_1{E}_2)$$
或者等价地，
$$P(E_1\cup E_2|F)=P(E_1|F)+P(E_2|F)-P(E_1{E}_2|F)$$

条件独立性

事件的条件独立性是一个重要概念。如果已知 $F$ 发生的条件下，$E_1$ 发生的概率不因 $E_2$ 是否发生而改变，则称事件 $E_1$ 和 $E_2$ 关于给定的事件 $F$ 是条件独立的(conditionally independent)。更确切地说，如果
$$P(E_1|E_{2}F)=P(E_1|F)$$
或等价地，
$$P(E_1{E}_2|F)=P(E_1|F)P(E_2|F)$$
则称 $E_1$ 与 $E_2$ 关于 $F$ 是条件独立的。

例题

例 5a：考虑例 3a，保险公司认为人可以分为两种不同的类，一类易出事故，另一类不易出事故。在任意给定的一年内，易出事故者将发生事故的概率为 0.4，而对不易出事故者来说，此概率为 0.2。若已知某新保险客户在第一年已经出过一次事故，问他在保险有效的第二年又出一次事故的条件概率是多大？

解：令 $A$ 表示"该保险客户是易出事故者"，$A_i$ 表示"他在第 $i$ 年出一次事故"。则：
$$P(A_2|A_1)=P(A_2|A{A}_1)P(A|A_1)+P(A_2|A^c{A}_1)P(A^c|A_1)$$

[!NOTE]

首先，根据概率的基本性质，我们知道：
$$P(A_2|A_1)=\frac{P(A_1{A}_2)}{P(A_1)}$$

现在，考虑事件 $A$（客户是易出事故者）及其补集 $A^c$（客户不是易出事故者）。这两个事件是互斥且穷尽的，即：

• $A$ 和 $A^c$ 不能同时发生（互斥）
• 要么 $A$ 发生，要么 $A^c$ 发生（穷尽）

因此，我们可以将 $P(A_1{A}_2)$ 分解为：
$$P(A_1{A}_2)=P(A_1{A}_{2}A)+P(A_1{A}_2{A}^c)$$

代入条件概率公式：
$$P(A_2|A_1)=\frac{P(A_1{A}_2)}{P(A_1)}=\frac{P(A_1{A}_{2}A)+P(A_1{A}_2{A}^c)}{P(A_1)}$$

将分子拆分为两项：
$$P(A_2|A_1)=\frac{P(A_1{A}_{2}A)}{P(A_1)}+\frac{P(A_1{A}_2{A}^c)}{P(A_1)}$$

现在，对每一项进行变形：
$$\frac{P(A_1{A}_{2}A)}{P(A_1)}=\frac{P(A_1{A}_{2}A)}{P(A_{1}A)}\cdot \frac{P(A_{1}A)}{P(A_1)}=P(A_2|A_{1}A)\cdot P(A|A_1)$$

同理：
$$\frac{P(A_1{A}_2{A}^c)}{P(A_1)}=P(A_2|A_1{A}^c)\cdot P(A^c|A_1)$$

因此：
$$P(A_2|A_1)=P(A_2|A_{1}A)\cdot P(A|A_1)+P(A_2|A_1{A}^c)\cdot P(A^c|A_1)$$

|这个例子直接应用了条件独立性的概念。关键在于，保险公司模型假设：一旦知道一个人是易出事故者还是不易出事故者，那么他各年出事故的事件是条件独立的。

具体来说，我们假设：

• 在已知 $A$（客户是易出事故者）的条件下，$A_1$ 和 $A_2$ 是条件独立的
• 在已知 $A^c$（客户不是易出事故者）的条件下，$A_1$ 和 $A_2$ 也是条件独立的

这意味着：
$$P(A_2|A{A}_1)=P(A_2|A)=0.4$$

$$P(A_2|A^c{A}_1)=P(A_2|A^c)=0.2$$

重要说明：注意 $A_1$ 和 $A_2$ 在无条件时不是独立的。因为第一年出事故会影响我们对客户类型的判断（通过贝叶斯定理），从而间接影响第二年出事故的概率。但在已知客户类型的情况下，$A_1$ 和 $A_2$ 是条件独立的。

其中
$$P(A|A_1)=\frac{P(A_1|A)P(A)}{P(A_1)}=\frac{0.4\times 0.3}{0.26}=\frac{6}{13}$$

$$P(A^c|A_1)=1-P(A|A_1)=\frac{7}{13}$$

因为 $P(A_2|A{A}_1)=0.4$，$P(A_2|A^c{A}_1)=0.2$，所以
$$P(A_2|A_1)=0.4\times \frac{6}{13}+0.2\times \frac{7}{13}\approx 0.29$$

例 5b：一只母猩猩生了一只幼猩猩，但是，却不能断定两只公猩猩究竟哪一只是父亲。在进行基因分析之前，有迹象表明第一只公猩猩为父亲的概率为 $p$，第二只为父亲的概率为 $1-p$。从这三只猩猩身上获得的 DNA 表明，对于一个特殊的基因组，母猩猩具有基因对 $(A,A)$，第一只公猩猩具有基因对 $(a,a)$，而第二只公猩猩具有基因对 $(A,a)$。如果 DNA 检验表明幼猩猩具有基因对 $(A,a)$，那么第一只公猩猩是父亲的概率是多少？

解：令 $M_i$ ($i=1,2$) 表示第 $i$ 只公猩猩为父亲这一事件，$B_{A,a}$ 表示幼猩猩具有基因对 $(A,a)$。则：
$$\begin{array}{rl}P(M_1|B_{A,a})& =\frac{P(B_{A,a}|M_1)P(M_1)}{P(B_{A,a}|M_1)P(M_1)+P(B_{A,a}|M_2)P(M_2)}\\ & =\frac{1\times p}{1\times p+1/2\times (1-p)}=\frac{2p}{1+p}\end{array}$$

例 5c：设有一个独立重复试验序列，每次试验成功的概率为 $p$，失败的概率为 $q=1-p$。计算长度为 $n$ 的成功游程（连续 $n$ 次成功）先于长度为 $m$ 的失败游程（连续 $m$ 次失败）出现的概率。

记 $E$ 为事件"长度为 $n$ 的成功游程先于长度为 $m$ 的失败游程出现"。以第一次试验结果为条件：

• $H$：第一次试验成功
• $H^c$：第一次试验失败

根据全概率公式：
$$P(E)=P(E|H)P(H)+P(E|H^c)P(H^c)=pP(E|H)+qP(E|H^c)\text{\hspace{1em}(1)}$$

假设第一次试验成功，令 $F$ 表示"第 2 次到第 $n$ 次试验均成功"（即前 $n$ 次都成功）。

以 $F$ 为条件：
$$P(E|H)=P(E|FH)P(F|H)+P(E|F^{c}H)P(F^c|H)\text{\hspace{1em}(2)}$$

• $P(F|H)=p^{n-1}$（因为第 2 次到第 $n$ 次都成功的概率）
• $P(F^c|H)=1-p^{n-1}$
• $P(E|FH)=1$（因为前 $n$ 次都成功，长度为 $n$ 的成功游程已经出现）
• $P(E|F^{c}H)=P(E|H^c)$（当第一次失败发生时，前面的成功已失效，相当于从失败开始）

[!NOTE]

当$F^{c}H$发生时，意味着：

1. 第一次试验成功
2. 在第2次到第$n$次试验中，至少有一次失败

疑问是：如果第一次失败发生在位置$k$（$2\le k\le n$），那么在$k$之后到$n$的位置，可能存在一段连续的成功，甚至可能达到$n$次成功。

用一个具体例子来说明，假设$n=5$（我们需要5次连续成功），$m=3$（我们需要3次连续失败）：

情况1：序列是 S, S, F, S, S, S, S, S, …

• 第一次失败在第3次试验
• 从第4次到第8次，我们有5次连续成功
• 在第8次试验后，我们形成了长度为5的成功游程

情况2：序列是 S, F, S, S, S, S, S, …

• 第一次失败在第2次试验
• 从第3次到第7次，我们有5次连续成功
• 在第7次试验后，我们形成了长度为5的成功游程

在两种情况下，我们都最终形成了长度为5的成功游程，但形成的方式不同。

当我们计算$P(E|F^{c}H)$时，我们是在给定$F^{c}H$发生的条件下计算概率。这意味着我们知道：

• 第一次试验成功
• 在第2次到第5次试验中至少有一次失败

但不知道第一次失败具体发生在哪一次试验，也不知道第一次失败之后发生了什么。

因此，$P(E|F^{c}H)$实际上是所有满足$F^{c}H$条件的序列中，最终形成长度为$n$的成功游程先于长度为$m$的失败游程的比例。

为什么$P(E|F^{c}H)=P(E|H^c)$是正确的

考虑$F^{c}H$发生后的状态：

1. 设第一次失败发生在第$k$次试验（$2\le k\le n$）
2. 在第$k$次试验后，我们刚刚经历了一次失败
3. 由于试验是独立的，从第$k+1$次试验开始的未来结果与过去的试验结果无关
4. 因此，从第$k+1$次试验开始，我们需要决定是先形成$n$次连续成功还是$m$次连续失败

现在，考虑$H^c$发生后的状态：

1. 第一次试验失败
2. 在第1次试验后，我们刚刚经历了一次失败
3. 从第2次试验开始，我们需要决定是先形成$n$次连续成功还是$m$次连续失败

关键洞察：在$F^{c}H$发生后，无论第一次失败发生在第$k$次试验（$2\le k\le n$），从第$k+1$次试验开始的未来状态与$H^c$发生后从第2次试验开始的未来状态完全相同：

• 我们刚刚经历了一次失败
• 我们需要决定后续是先形成$n$次连续成功还是$m$次连续失败

由于试验是独立的，这两种情况下的概率分布是相同的。

1. 在$F^{c}H$条件下，我们知道在第2次到第$n$次试验中至少有一次失败，所以不可能在前$n$次试验中形成长度为$n$的成功游程
2. 我们关心的是在第$n$次试验之后，是先形成长度为$n$的成功游程还是长度为$m$的失败游程
3. 在第一次失败发生后（无论它发生在第2次、第3次，…，还是第$n$次试验），我们所处的状态是相同的：刚刚经历了一次失败

因此，无论第一次失败发生在哪一次试验，在第一次失败发生后，形成长度为$n$的成功游程先于长度为$m$的失败游程的概率是相同的。

这就是为什么$P(E|F^{c}H)=P(E|H^c)$。

代入公式 (2)：
$$P(E|H)=1\cdot p^{n-1}+P(E|H^c)\cdot (1-p^{n-1})$$

$$P(E|H)=p^{n-1}+(1-p^{n-1})P(E|H^c)\text{\hspace{1em}(3)}$$

假设第一次试验失败，令 $G$ 表示"第 2 次到第 $m$ 次试验均失败"（即前 $m$ 次都失败）。

以 $G$ 为条件：
$$P(E|H^c)=P(E|G{H}^c)P(G|H^c)+P(E|G^c{H}^c)P(G^c{H}^c)\text{\hspace{1em}(4)}$$

• $P(G|H^c)=q^{m-1}$（因为第 2 次到第 $m$ 次都失败的概率）
• $P(G^c|H^c)=1-q^{m-1}$
• $P(E|G{H}^c)=0$（因为前 $m$ 次都失败，长度为 $m$ 的失败游程已经出现）
• $P(E|G^c{H}^c)=P(E|H)$（当第一次成功发生时，前面的失败已失效，相当于从成功开始）

代入公式 (4)：
$$P(E|H^c)=0\cdot q^{m-1}+P(E|H)\cdot (1-q^{m-1})$$

$$P(E|H^c)=(1-q^{m-1})P(E|H)\text{\hspace{1em}(5)}$$

将方程 (5) 代入方程 (3)：
$$P(E|H)=p^{n-1}+(1-p^{n-1})(1-q^{m-1})P(E|H)$$

移项整理：
$$P(E|H)-(1-p^{n-1})(1-q^{m-1})P(E|H)=p^{n-1}$$

$$P(E|H)[1-(1-p^{n-1})(1-q^{m-1})]=p^{n-1}$$

计算分母：
$$\begin{array}{rl}1-(1-p^{n-1})(1-q^{m-1})& =1-[1-p^{n-1}-q^{m-1}+p^{n-1}{q}^{m-1}]\\ & =p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}\end{array}$$

因此：
$$P(E|H)=\frac{p^{n-1}}{p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}}\text{\hspace{1em}(6)}$$

将 (6) 代入 (5)：
$$P(E|H^c)=(1-q^{m-1})\cdot \frac{p^{n-1}}{p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}}\text{\hspace{1em}(7)}$$

将 (6) 和 (7) 代入 (1)：
$$\begin{array}{rl}P(E)& =p\cdot \frac{p^{n-1}}{p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}}+q\cdot (1-q^{m-1})\cdot \frac{p^{n-1}}{p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}}\\ & =\frac{p^n+q{p}^{n-1}(1-q^{m-1})}{p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}}\end{array}$$

简化分子：
$$\begin{array}{rl}{p}^n+q{p}^{n-1}(1-q^{m-1})& =p^n+q{p}^{n-1}-q{p}^{n-1}{q}^{m-1}\\ & =p^n+q{p}^{n-1}-p^{n-1}{q}^m\\ & =p^{n-1}(p+q-q^m)\\ & =p^{n-1}(1-q^m)(\text{因为 }p+q=1)\end{array}$$

因此：
$$P(E)=\frac{p^{n-1}(1-q^m)}{p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}}$$

长度为 $n$ 的成功游程先于长度为 $m$ 的失败游程出现的概率为：
$$P(E)=\frac{p^{n-1}(1-q^m)}{p^{n-1}+q^{m-1}-p^{n-1}{q}^{m-1}}$$

例 5d：在一次聚会上，n 个人摘下他们的帽子，然后把这些帽子混合在一起，每人再随机选择一顶帽子。如某个人选中了他自己的帽子，我们就说出现了一个配对。求：

• (a) 没有配对的概率
• (b) 恰有 k 个配对的概率

(a) 没有配对的概率

这是一个经典的错位排列(derangement)问题，即没有任何人拿到自己帽子的排列方式。

令 $P_n$ 表示 n 个人没有配对的概率。我们以第一个人是否选中自己的帽子为条件：

• 令 $M$ 表示"第一个人选中自己的帽子"这一事件
• 则 $P(E)=P(E|M)P(M)+P(E|M^c)P(M^c)$

显然 $P(E|M)=0$（如果第一个人选中自己的帽子，就不可能没有配对），$P(M)=1/n$，$P(M^c)=(n-1)/n$，所以：

$$P_n=P(E|M^c)\cdot \frac{n-1}{n}$$

现在考虑 $P(E|M^c)$，即在第一个人没有选中自己帽子的条件下，没有人选中自己帽子的概率。

假设第一个人选中了第 j 个人的帽子（$j\ne 1$），有两种互不相容的情况：

1. 第 j 个人选中了第一个人的帽子：概率为 $1/(n-1)$

   • 剩下 $n-2$ 个人需要没有配对，概率为 $P_{n-2}$

2. 第 j 个人没有选中第一个人的帽子：概率为 $(n-2)/(n-1)$

   • 此时可以把第 j 个人看作"第一个人"，问题转化为 $n-1$ 个人的没有配对问题，概率为 $P_{n-1}$

因此：
$$P(E|M^c)=\frac{1}{n-1}\cdot P_{n-2}+\frac{n-2}{n-1}\cdot P_{n-1}$$

代入 $P_n$ 的公式：
$$P_n=\left[\frac{1}{n-1}\cdot P_{n-2}+\frac{n-2}{n-1}\cdot P_{n-1}\right]\cdot \frac{n-1}{n}=\frac{1}{n}\cdot P_{n-2}+\frac{n-2}{n}\cdot P_{n-1}$$

整理得：
$$P_n-P_{n-1}=-\frac{1}{n}(P_{n-1}-P_{n-2})$$

已知边界条件：

• $P_1=0$（只有 1 个人，必须选中自己的帽子）
• $P_2=\frac{1}{2}$（两个人，只有 1 种方式没有配对：互相交换帽子）

利用递推关系：
$$P_3-P_2=-\frac{1}{3}(P_2-P_1)=-\frac{1}{3}\cdot \frac{1}{2}=-\frac{1}{6}⟹P_3=\frac{1}{2}-\frac{1}{6}=\frac{1}{3}$$

$$P_4-P_3=-\frac{1}{4}(P_3-P_2)=-\frac{1}{4}\cdot \left(\frac{1}{3}-\frac{1}{2}\right)=\frac{1}{24}⟹P_4=\frac{1}{3}+\frac{1}{24}=\frac{3}{8}$$

$$P_5-P_4=-\frac{1}{5}(P_4-P_3)=-\frac{1}{5}\cdot \left(\frac{3}{8}-\frac{1}{3}\right)=-\frac{1}{120}⟹P_5=\frac{3}{8}-\frac{1}{120}=\frac{11}{30}$$

通过归纳，我们可以得到通式：
$$P_n=\frac{1}{2!}-\frac{1}{3!}+\frac{1}{4!}-\cdots +\frac{(-1{)}^n}{n!}$$

[!NOTE]

也可用容斥恒等式 详见第二章 5m

(b) 恰有 k 个配对的概率

要计算恰好有 k 个配对的概率，我们可以：

1. 选择哪 k 个人有配对：$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=\frac{n!}{k!(n-k)!}$ 种方式
2. 这 k 个人必须选中自己的帽子：概率为 1
3. 剩下的 $n-k$ 个人必须没有配对：概率为 $P_{n-k}$

因此，恰好有 k 个配对的概率为：
$$\left(\genfrac{}{}{0ex}{}{n}{k}\right)\cdot 1\cdot P_{n-k}/n!=\frac{n!}{k!(n-k)!}\cdot P_{n-k}/n!=\frac{P_{n-k}}{k!}$$

其中 $P_{n-k}=\frac{1}{2!}-\frac{1}{3!}+\cdots +\frac{(-1{)}^{n-k}}{(n-k)!}$

所以，恰好有 k 个配对的概率为：
$$\frac{P_{n-k}}{k!}=\frac{\frac{1}{2!}-\frac{1}{3!}+\cdots +\frac{(-1{)}^{n-k}}{(n-k)!}}{k!}$$

例 5e：拉普拉斯继承准则。一个盒子中有 $k+1$ 枚不均匀的硬币，抛掷第 $i$ 枚硬币时，其正面朝上的概率为 $i/k$ ($i=0,1,\dots ,k$)。从盒子中随机取出一枚硬币，并重复地抛掷。如果前 $n$ 次抛掷结果都为正面朝上，那么第 $n+1$ 次结果仍为正面朝上的概率是多少？

解：令 $C_i$ 表示开始取出的是第 $i$ 枚硬币，$F_n$ 表示前 $n$ 次结果都为正面朝上，$H$ 表示第 $n+1$ 次抛掷正面朝上。则所求概率为：
$$P(H|F_n)=\frac{{\sum }_{i=0}^k(i/k{)}^{n+1}}{{\sum }_{j=0}^k(j/k{)}^n}$$

[!NOTE]

当k很大时，可以利用积分近似来计算这个表达式。

积分近似原理

考虑求和 ${\sum }_{i=0}^k(i/k{)}^{n+1}$。当k很大时，这个求和可以近似为积分。具体来说，$\frac{1}{k}{\sum }_{i=0}^k(i/k{)}^{n+1}$ 是函数 $x^{n+1}$ 在区间 [0,1] 上的黎曼和（Riemann sum），其中将区间 [0,1] 分成k等份，每份长度为 $\frac{1}{k}$。

当k趋于无穷大时，这个黎曼和收敛到积分 ${\int }_0^1{x}^{n+1}dx$。

积分计算

计算积分：
$${\int }_0^1{x}^{n+1}dx={\left[\frac{x^{n+2}}{n+2}\right]}_0^1=\frac{1}{n+2}$$

类似地：
$${\int }_0^1{x}^{n}dx={\left[\frac{x^{n+1}}{n+1}\right]}_0^1=\frac{1}{n+1}$$

近似推导

当k很大时：
$$\frac{1}{k}\sum _{i=0}^k{\left(\frac{i}{k}\right)}^{n+1}\approx {\int }_0^1{x}^{n+1}dx=\frac{1}{n+2}$$
$$\frac{1}{k}\sum _{j=0}^k{\left(\frac{j}{k}\right)}^n\approx {\int }_0^1{x}^{n}dx=\frac{1}{n+1}$$

现在，回到 $P(H|F_n)$ 的表达式：
$$P(H|F_n)=\frac{{\sum }_{i=0}^k(i/k{)}^{n+1}}{{\sum }_{j=0}^k(j/k{)}^n}=\frac{k\cdot \frac{1}{k}{\sum }_{i=0}^k(i/k{)}^{n+1}}{k\cdot \frac{1}{k}{\sum }_{j=0}^k(j/k{)}^n}\approx \frac{k\cdot \frac{1}{n+2}}{k\cdot \frac{1}{n+1}}=\frac{n+1}{n+2}$$

当 $k$ 很大时，
$$P(H|F_n)\approx \frac{n+1}{n+2}$$

例 5f：序贯地补充信息。假设有一组互不相容且穷尽的假设 $H_1,H_2,\dots ,H_n$，其初始概率（先验概率）为 $P(H_i)$，${\sum }_{i=1}^{n}P(H_i)=1$。

当获得新证据 $E_1$ 时，我们可以使用贝叶斯公式更新假设的概率：
$$P(H_i|E_1)=\frac{P(E_1|H_i)P(H_i)}{{\sum }_{j=1}^{n}P(E_1|H_j)P(H_j)}$$

随后，当获得第二个证据 $E_2$ 时，我们可以有两种方法更新概率：

方法1：直接使用两个证据

$$P(H_i|E_1{E}_2)=\frac{P(E_1{E}_2|H_i)P(H_i)}{{\sum }_{j=1}^{n}P(E_1{E}_2|H_j)P(H_j)}$$

方法2：序贯更新

1. 先用 $E_1$ 更新，得到 $P(H_i|E_1)$
2. 将 $P(H_i|E_1)$ 视为新的先验概率
3. 再用 $E_2$ 更新，得到 $P(H_i|E_1{E}_2)$

关键条件：如果在给定 $H_i$ 的条件下，$E_1$ 和 $E_2$ 是条件独立的，即：
$$P(E_1{E}_2|H_i)=P(E_1|H_i)P(E_2|H_i)$$

那么，序贯更新方法是有效的，且：
$$P(H_i|E_1{E}_2)=\frac{P(E_2|H_i)P(H_i|E_1)}{{\sum }_{j=1}^{n}P(E_2|H_j)P(H_j|E_1)}$$

证明

从贝叶斯公式出发：
$$P(H_i|E_1{E}_2)=\frac{P(E_1{E}_2|H_i)P(H_i)}{P(E_1{E}_2)}$$

利用条件独立性：
$$P(E_1{E}_2|H_i)=P(E_2|H_i)P(E_1|H_i)$$

代入：
$$P(H_i|E_1{E}_2)=\frac{P(E_2|H_i)P(E_1|H_i)P(H_i)}{P(E_1{E}_2)}$$

注意到：
$$P(E_1|H_i)P(H_i)=P(H_i|E_1)P(E_1)$$

所以：
$$P(H_i|E_1{E}_2)=\frac{P(E_2|H_i)P(H_i|E_1)P(E_1)}{P(E_1{E}_2)}=\frac{P(E_2|H_i)P(H_i|E_1)}{P(E_2|E_1)}$$

其中 $P(E_2|E_1)=\frac{P(E_1{E}_2)}{P(E_1)}={\sum }_{j=1}^{n}P(E_2|H_j)P(H_j|E_1)$

因此：
$$P(H_i|E_1{E}_2)=\frac{P(E_2|H_i)P(H_i|E_1)}{{\sum }_{j=1}^{n}P(E_2|H_j)P(H_j|E_1)}$$

小结

• 条件概率定义为 $P(E|F)=\frac{P(EF)}{P(F)}$
• 概率的乘法规则：$P(E_1{E}_2\cdots E_n)=P(E_1)P(E_2|E_1)\cdots P(E_n|E_1\cdots E_{n-1})$
• 全概率公式：$P(E)={\sum }_{i=1}^{n}P(E|F_i)P(F_i)$
• 贝叶斯公式：$P(F_j|E)=\frac{P(E|F_j)P(F_j)}{{\sum }_{i=1}^{n}P(E|F_i)P(F_i)}$
• 事件 $E$ 和 $F$ 独立当且仅当 $P(EF)=P(E)P(F)$
• 对于给定事件 $F$，$P(E|F)$ 可以视为样本空间中事件 $E$ 的概率函数
• 事件 $E_1$ 和 $E_2$ 关于 $F$ 条件独立当且仅当 $P(E_1{E}_2|F)=P(E_1|F)P(E_2|F)$