特征值与特征向量的计算——PCA的数学基础

特征值与特征向量

定义 令$\mathbf{A}$为$n\times n$矩阵，如果存在非零向量$\mathbf{x}$使得

$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}\text{\hspace{1em}(1)}$$

成立，则称数$\lambda$是矩阵$\mathbf{A}$的特征值，称非零向量$\mathbf{x}$为属于（或对应于）$\lambda$的特征向量。

线性变换对特征向量的作用仅是进行某种程度的收缩或拉伸，特征值是收缩或拉伸的倍数（缩放因子）。

需要注意的是，定义中特征向量$\mathbf{x}\ne 0$; 矩阵$\mathbf{A}$是方阵，也就是说，特征值问题只针对方阵而言。

例 设

$$\mathbf{A}=\left[\begin{array}{cc}4& -2\\ 1& 1\end{array}\right]\text{及}\mathbf{x}=\left[\begin{array}{c}2\\ 1\end{array}\right]$$

由于

$$\mathbf{A}\mathbf{x}=\left[\begin{array}{cc}4& -2\\ 1& 1\end{array}\right]\left[\begin{array}{c}2\\ 1\end{array}\right]=\left[\begin{array}{c}6\\ 3\end{array}\right]=3\left[\begin{array}{c}2\\ 1\end{array}\right]=3\mathbf{x}$$

可得，$\lambda =3$是$\mathbf{A}$的一个特征值，且$\mathbf{x}=(2,1{)}^{\top }$为一个属于$\lambda$的特征向量。

事实上，任何$\mathbf{x}$的一个非零倍数都是一个特征向量，因为

$$\mathbf{A}(\alpha \mathbf{x})=\alpha \mathbf{A}\mathbf{x}=\alpha \lambda \mathbf{x}=\lambda (\alpha \mathbf{x})$$

因此，$(4,2{)}^{\top }$也是$\lambda =3$的特征向量。

方程$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$可写为

$$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0\text{\hspace{1em}(2)}$$

因此，$\lambda$为$\mathbf{A}$的特征值的充要条件是式 (2) 有非零解。式 (2) 的解集为 V λ ( A ) = { x ∣ ( A − λ I ) x = 0 } V_{\lambda}(\boldsymbol{A}) = \{\boldsymbol{x} | (\boldsymbol{A} - \lambda \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}\} Vλ​(A)={x∣(A−λI)x=0}，它是${\mathbb{R}}^n$的一个子空间。因此，若$\lambda$是$\mathbf{A}$的一个特征值，则 V λ ( A ) ≠ { 0 } V_{\lambda}(\boldsymbol{A}) \neq \{\boldsymbol{0}\} Vλ​(A)={0}，且$V_{\lambda }(\mathbf{A})$中的任何非零向量均为属于$\lambda$的特征向量。子空间 V λ ( A ) = { x ∣ ( A − λ I ) x = 0 } V_{\lambda}(\boldsymbol{A}) = \{\boldsymbol{x} | (\boldsymbol{A} - \lambda \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}\} Vλ​(A)={x∣(A−λI)x=0}称为对应于特征值$\lambda$的特征子空间。

式 (2) 有非零解的充要条件是$\mathbf{A}-\lambda \mathbf{I}$为奇异的，或等价地

$$\det (\mathbf{A}-\lambda \mathbf{I})=0\text{\hspace{1em}(3)}$$

式 (3) 中的行列式展开后得到一个关于$\lambda$的$n$次多项式，${\lambda }_0$是$\mathbf{A}$的特征值的充要条件是${\lambda }_0$为多项式$\det (\mathbf{A}-\lambda \mathbf{I})$的根。因此，有如下定义：

定义 设$\mathbf{A}=(a_{ij}{)}_{n\times n}$，则

$$p(\lambda )=\det (\mathbf{A}-\lambda \mathbf{I})=\left|\begin{array}{cccc}{a}_{11}-\lambda & a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}-\lambda & \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}-\lambda \end{array}\right|\text{\hspace{1em}(4)}$$
称为$n$阶方阵$\mathbf{A}$的特征多项式，式 (3) 称为矩阵$\mathbf{A}$的特征方程。

由定义可知，特征多项式的根即为方阵$\mathbf{A}$的特征值。如果对重根也计数，则特征多项式恰有$n$个根。因此$\mathbf{A}$将有$n$个特征值，其中某些可能会重复，特征值可能为实数，也可能会是复数。对后一种情形，需要在复数范围内进行讨论，允许向量和矩阵的元素可以是复数。

由上述讨论可得，求矩阵$\mathbf{A}$的特征值和特征向量的步骤如下：

(1) 计算$n$阶矩阵$\mathbf{A}$的特征多项式$\det (\mathbf{A}-\lambda \mathbf{I})$;

(2) 求特征方程$\det (\mathbf{A}-\lambda \mathbf{I})=0$所有的根${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，即矩阵$\mathbf{A}$的全部特征值；

(3) 对于每一个特征值${\lambda }_i$，求解齐次线性方程组$(\mathbf{A}-{\lambda }_i\mathbf{I})\mathbf{x}=0$的一个基础解系${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_k$，于是$\mathbf{A}$的属于特征值${\lambda }_i$的全部特征向量为

$$\mathbf{x}=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_k{\mathbf{x}}_k,\text{其中 }{c}_1,c_2,\cdots ,c_k\text{ 是不全为零的数}$$

例 求矩阵$\mathbf{A}=\left[\begin{array}{cc}3& 2\\ 3& -2\end{array}\right]$的特征值和特征向量。

解：$\mathbf{A}$的特征多项式为

$$|\mathbf{A}-\lambda \mathbf{I}|=\left|\begin{array}{cc}3-\lambda & 2\\ 3& -2-\lambda \end{array}\right|={\lambda }^2-\lambda -12$$

所以$\mathbf{A}$的特征值为${\lambda }_1=4,{\lambda }_2=-3$。

当${\lambda }_1=4$时，解方程组$(\mathbf{A}-4\mathbf{I})\mathbf{x}=0$，由

$$\mathbf{A}-4\mathbf{I}=\left[\begin{array}{cc}-1& 2\\ 3& -6\end{array}\right]\to \left[\begin{array}{cc}1& -2\\ 0& 0\end{array}\right]$$

得基础解系为${\mathbf{x}}_1=(2,1{)}^{\top }$，因此$c_1{\mathbf{x}}_1$（$c_1\ne 0$）为$\mathbf{A}$的属于特征值 4 的特征向量。

当${\lambda }_2=-3$时，解方程组$(\mathbf{A}+3\mathbf{I})\mathbf{x}=0$，由

$$\mathbf{A}+3\mathbf{I}=\left[\begin{array}{cc}6& 2\\ 3& 1\end{array}\right]\to \left[\begin{array}{cc}3& 1\\ 0& 0\end{array}\right]$$

得基础解系为${\mathbf{x}}_2=(-1,3{)}^{\top }$，因此$c_2{\mathbf{x}}_2$（$c_2\ne 0$）为$\mathbf{A}$的属于特征值 -3 的特征向量。

例 求矩阵

$$\left[\begin{array}{ccc}2& -3& 1\\ 1& -2& 1\\ 1& -3& 2\end{array}\right]$$

的特征值和特征向量。

解：$\mathbf{A}$的特征多项式为

$$|\mathbf{A}-\lambda \mathbf{I}|=\left|\begin{array}{ccc}2-\lambda & -3& 1\\ 1& -2-\lambda & 1\\ 1& -3& 2-\lambda \end{array}\right|=-\lambda (\lambda -1{)}^2$$

所以$\mathbf{A}$的特征值为${\lambda }_1=0,{\lambda }_2={\lambda }_3=1$。

当${\lambda }_1=0$时，解方程组$\mathbf{A}\mathbf{x}=0$，由

$$\mathbf{A}=\left[\begin{array}{ccc}2& -3& 1\\ 1& -2& 1\\ 1& -3& 2\end{array}\right]\to \left[\begin{array}{ccc}1& 0& -1\\ 0& 1& -1\\ 0& 0& 0\end{array}\right]$$

得基础解系为${\mathbf{x}}_1=(1,1,1{)}^{\top }$，因此$c_1{\mathbf{x}}_1$（$c_1\ne 0$）为$\mathbf{A}$的属于特征值 0 的特征向量。

当${\lambda }_2={\lambda }_3=1$时，解方程组$(\mathbf{A}-\mathbf{I})\mathbf{x}=0$，由

$$\mathbf{A}-\mathbf{I}=\left[\begin{array}{ccc}1& -3& 1\\ 1& -3& 1\\ 1& -3& 1\end{array}\right]\to \left[\begin{array}{ccc}1& -3& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

得基础解系为${\mathbf{x}}_2=(3,1,0{)}^{\top }$和${\mathbf{x}}_3=(-1,0,1{)}^{\top }$，因此$c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3$（$c_2,c_3$不全为 0）为$\mathbf{A}$的属于特征值 1 的特征向量。