主成分分析（PCA）例题——给定协方差矩阵

向量$x$的相关矩阵为

$${\mathbf{R}}_x=\left[\begin{array}{ccc}0.3& 0.1& 0.1\\ 0.1& 0.3& -0.1\\ 0.1& -0.1& 0.3\end{array}\right]$$

计算输入向量的 KL 变换。

解答

${\mathbf{R}}_x$的特征值为${\lambda }_0=0.1$，${\lambda }_1={\lambda }_2=0.4$。

既然${\mathbf{R}}_x$是对称的，可以构建正交特征向量。

在这个例子中，有

$${\mathbf{u}}_0=\frac{1}{\sqrt{3}}\left[\begin{array}{c}1\\ -1\\ -1\end{array}\right],{\mathbf{u}}_1=\frac{1}{\sqrt{6}}\left[\begin{array}{c}2\\ 1\\ 1\end{array}\right],{\mathbf{u}}_2=\frac{1}{\sqrt{2}}\left[\begin{array}{c}0\\ 1\\ -1\end{array}\right]$$

则 KL 变换为

$$\left[\begin{array}{c}y(0)\\ y(1)\\ y(2)\end{array}\right]=\left[\begin{array}{ccc}2/\sqrt{6}& 1/\sqrt{6}& 1/\sqrt{6}\\ 0& 1/\sqrt{2}& -1/\sqrt{2}\\ 1/\sqrt{3}& -1/\sqrt{3}& -1/\sqrt{3}\end{array}\right]\left[\begin{array}{c}x(0)\\ x(1)\\ x(2)\end{array}\right]$$

其中$y(0),y(1)$对应于两个最大的特征值。