LMMSE、MMSE和LS
linear minimum mean square error (LMMSE)和minimum mean square error的区别
1. LMMSE(线性最小均方误差)
估计是观测数据的线性组合: x ^ = W y \hat{\boldsymbol{x}} = \boldsymbol{W}\boldsymbol{y} x^=Wy
目标就是最小化MSE: min W E [ ∥ x − x ^ ∥ 2 ] \min_{\boldsymbol{W}} \mathbb{E}\left[ \|\boldsymbol{x} - \hat{\boldsymbol{x}}\|^2 \right] minWE[∥x−x^∥2]
缺点: 仅在观测和噪声为高斯分布时是最优的.
举例: y = h x + n y = hx + n y=hx+n → L M M S E \xrightarrow{\mathrm{LMMSE}} LMMSE x ^ = h h 2 + σ 2 y \hat{x} = \frac{h}{h^2 + \sigma^2} y x^=h2+σ2hy
1. MMSE(最小均方误差)
LMMSE是MMSE的特例,i.e., 观测与真值满足联合高斯条件,二者等价。
估计是给定观测对真值的条件期望: x ^ = E [ x ∣ y ] \hat{\boldsymbol{x}} = \mathbb{E}[\boldsymbol{x} | \boldsymbol{y}] x^=E[x∣y]
目标函数还是MSE
缺点是求解复杂,非高斯下难有闭式解
注意:MMSE是贝叶斯估计,给定观测数据求期望,不像最大似然 x ^ ML = arg max x p ( y ∣ x ) \hat{\boldsymbol{x}}_{\text{ML}} = \arg \max_{\boldsymbol{x}} p(\boldsymbol{y} | \boldsymbol{x}) x^ML=argmaxxp(y∣x),仅利用部分样本最大化似然概率(比如,抛了10次硬币8次正面, x ^ ML = 4 / 5 \hat{\boldsymbol{x}}_{\text{ML}}=4/5 x^ML=4/5)
举例1: y = h x + n y = hx + n y=hx+n → n ∼ N ( 0 , σ n 2 ) x ∼ N ( μ x , σ x 2 ) \xrightarrow[n \sim \mathcal{N}(0, \sigma_n^2)]{x \sim \mathcal{N}(\mu_x, \sigma_x^2)}