[概率论基本概念4]什么是无偏估计

关键词：Unbiased Estimation

一、说明

对于无偏和有偏估计，需要了解其叙事背景，是指整体和抽样的关系，也就是说整体的叙事是从理论角度的，而估计器原理是从实践角度说事；为了表明概率理论（不可操作）和统计学（可操作）的实践的一致性，于是提出有偏和无偏的观点。

二、关于无偏和有偏

如果给定参数的估计量 的 预期值等于该参数的真实值， 则称该估计量是无偏的 。另一个说法，如果估计量产生的参数估计平均而言是正确的，那么它就是无偏的。
我们先做一个思想实验，如通过打靶考核射手的水平，假如决定射手的因素有两个：眼力和手平衡。

于是对于任意一个选手，这个选手的属性如下：

<眼力=1，手平衡=1>,<眼力=0，手平衡=1>,<眼力=1，手平衡=0>,
<眼力=0，手平衡=0>

打靶结果

我们从上面例子解释“无偏”和“有偏”的关系。在以上打靶结果中，
<眼力=1，手平衡=1>和<眼力=1，手平衡=0>属于“无偏”
<眼力=0，手平衡=1>和<眼力=0，手平衡=0>属于“有偏”
为什么呢？
我们考虑打靶的重心值：
$\bar{X}={\sum }_{i=1}^3{X}_i$
当$\bar{X}$的极限等于把心c，那么就是无偏的，否则就是有偏的。

注意：有偏估计也不是没有意义的。只要能给出固定偏移，不难将无偏估计转化成无偏估计。

三、偏差和无偏差估计器

如果估计器$u(X_1,X_2,\dots ,X_n)$以下情况成立：
$E[u(X_1,X_2,\dots ,X_n)]=\theta$那么统计$u(X_1,X_2,\dots ,X_n)$是参数的无偏估计量$\theta$。 否则，$u(X_1,X_2,\dots ,X_n)$是一个有偏估计$\theta$。

3.1 贝努力变量p的无偏估计

如果$X_i$是具有参数的伯努利随机变量$p$, 那么：
$\hat{p}=\frac{1}{n}\sum _{i=1}^n{X}_i$
是最大似然估计量（MLE）$\hat{p}$ 是p的无偏估计量.

证明：
回想一下，如果$X_i$是具有参数的伯努利随机变量$p$， 那么$E(X_i)=p$
。 这里对估计器求期望：
$E(\hat{p})=E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\frac{1}{n}\sum _{i=1}^{n}p=\frac{1}{n}(np)=p$

第一个等式成立，因为我们只是替换了$\hat{p}$及其定义。第二个等式根据线性组合的期望规则成立。第三个等式成立，因为$E(X_i)=p$。第四个等式成立，因为当你添加值p向上连加n次，你得到np。当然，最后一个等式是简单的代数。

总而言之，我们已经证明：$E（\hat{p}）=p$
因此，最大似然估计量是p。

3.2 正态分布的无偏估计

如果$X_i$是具有均值的正态分布的随机变量,参数$\mu$和方差${\sigma }^2$的无偏估计是：
$\hat{\mu }=\frac{\sum X_i}{n}=\bar{X}$
${\hat{\sigma }}^2=\frac{\sum (X_i-\bar{X}{)}^2}{n}$
下面用无偏性估计定义进行验证：
只要证明：$E(X_i)=\mu$和$\text{Var}(X_i)={\sigma }^2$就可以。

$E(\bar{X})=E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\frac{1}{n}\sum _{i=1}\mu =\frac{1}{n}(n\mu )=\mu$
第一个等式成立，因为我们只是用$\bar{X}$及其定义。同样，第二个相等性符合线性组合的期望规则。第三个相等性成立，因为$E(X_i)=\mu$.第四个相等性成立，因为当您将值$\mu$累加n次倍，你会得到np。最后一个相等是简单代数。
总之，我们已经证明：$E(\bar{X})=\mu$
因此，最大似然估计量为$\mu$是公正的.
下面我们证明${\hat{\sigma }}^2=\frac{\sum (X_i-\bar{X}{)}^2}{n}$也是公正无偏的。
首先回顾方差的基本定义：
$Var(X)=E(（X-E（X）{）}^2)=E(X^2)-E(X{)}^2$
对于独立同分布的抽样样本$(X_1,X_2,\dots ,X_n)$，每个随机变量数值特征是一样的，也就是说：
$E(X_1）=E（X_2）=,\dots ,E（X_n)=\mu$
$Var(X)=Var(X_1）=Var（X_2）=,\dots ,Var（X_n)={\sigma }^2$
下面我们将给出证明
$E({\hat{\sigma }}^2)=E(\frac{\sum (X_i-\bar{X}{)}^2}{n})=\frac{\sum E(X_i-\bar{X}{)}^2}{n}=\frac{\sum E(X_i^2-2X_2\bar{X}+{\bar{X}}^2)}{n}=\frac{\sum [E(X_i^2)-2E(X_i\bar{X})+E(\bar{X}{)}^2]}{n}=\frac{\sum [E(X_i^2)-2E(X_i)\bar{X}+(\bar{X}{)}^2)}{n}=\frac{\sum [E(X_i^2)-{\bar{X}}^2]}{n}=\frac{n[E(X^2)-E{\bar{X}}^2]}{n}=E(X^2)-E{\bar{X}}^2={\sigma }^2$
第一个等号是等价代换，第二个等号E（期望）的线性等价性质。第三个等号。代数展开。第四个等号，期望线性恒等式。第五个等式，因为$\bar{X}$不是随机变量，而$X_i$是随机变量，因此用$E(cX）=cE（X）$和$E(\bar{X})=\bar{X}$简化；第六个等式，因为$E（X_i）=E（X）$这是因为两个随机变量的期望是一致的。第七个等式代数加和展开。第八等式，正态分布方差公式简化版。从而$E(\widehat{{\sigma }^2})={\sigma }^2$得证。

四、结论

这里需要首先肯定得是，有偏/无偏与误差偏差无关，不是说误差越大越有偏；一种可能是估计器误差很大，但他是无偏估计；另一种可能是估计器误差很小，但他是有偏估计。一个抽样有偏和无偏得判断措施就是对他求期望，该期望与整体得期望比较，发现有/无偏性。