这一节我们来介绍特征值和特征向量的应用

矩阵的相似对角化

当矩阵有 $n$ 个线性无关的特征向量时，矩阵可以相似对角化，即 $$\mathbf{A}=\mathbf{S}\Lambda {\mathbf{S}}^{-1}(1)$$

其中 $\mathbf{S}$ 是 $n$ 个线性无关的特征向量作为列组成的矩阵. 注意，有没有 $n$ 个线性无关的特征向量和矩阵可不可逆没有直接关系，因此可逆矩阵不一定可以相似对角化。

之所以叫相似对角化，是因为我们称 "$\mathbf{A}$ 和 $\mathbf{B}$ 相似" 如果存在 $\mathbf{P}$ 使得 $$\mathbf{A}=\mathbf{P}\mathbf{B}{\mathbf{P}}^{-1}$$

其中 $\mathbf{P}$ 可以是任意可逆矩阵。此时 $\mathbf{A}$ 和 $\mathbf{B}$ 有同样的特征值。相似矩阵有相同的特征值

Reasoning: 我们来看一下 (1) 式为什么成立. 其实只要展开 $$\mathbf{A}\mathbf{S}=A[{\mathbf{v}}_1,{\mathbf{v}}_2,...,{\mathbf{v}}_{\mathbf{n}}]=[{\lambda }_1{\mathbf{v}}_1,{\lambda }_2{\mathbf{v}}_2,...,{\lambda }_n{\mathbf{v}}_{\mathbf{n}}]=[{\mathbf{v}}_1,{\mathbf{v}}_2,...,{\mathbf{v}}_{\mathbf{n}}]\Lambda ({\lambda }_1,{\lambda }_2,...,{\lambda }_n)=\mathbf{S}\mathbf{\Lambda }$$

答案就很显然了。注意，到这一步任意的 $n$ 个特征向量都是成立的，但是要写成(1)的形式的一个必须条件是，$\mathbf{S}$ 可逆，即它由 $n$ 个线性无关的特征向量组成。

矩阵的幂

如果方阵 $\mathbf{A}$ 可以相似对角化，我们可以得到 $${\mathbf{A}}^{\mathbf{k}}=(\mathbf{S}\Lambda {\mathbf{S}}^{-1}{)}^k=\mathbf{S}{\Lambda }^k{\mathbf{S}}^{-1}$$

Theorem: 如果 $\mathbf{A}$ 的所有特征值的绝对值 $|{\lambda }_i|<1$, 则 $${\mathbf{A}}^k\to 0\text{as}k\to \infty$$

如下图所示，如果居镇素有的特征值都在复平面的单位圆内 (不包括边界)，${\mathbf{A}}^k\to 0$ as $k\to \infty$.

Fact 1: 不同特征值对应的特征向量线性无关。

所以有 $n$ 个不同特征值的矩阵是可相似对角化的

解差分方程

Problem: 解 difference equation $${\mathbf{u}}_{\mathbf{k}+1}=\mathbf{A}{\mathbf{u}}_{\mathbf{k}}$$

初始条件是 ${\mathbf{u}}_0$.

Solution: 把初始条件 ${\mathbf{u}}_0$ 表示为 $\mathbf{A}$ 的特征向量的线性组合 $${\mathbf{u}}_0=c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+...+c_n{\mathbf{v}}_{\mathbf{n}}=\mathbf{S}\mathbf{c}$$

这里 implicitly 指明这 $n$ 个特征向量线性无关，不然没法span到整个空间来表示任意的 ${\mathbf{u}}_0$.

这个思路只要有了，下面就很简单了。我们有 $${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0=c_1{\lambda }_1^k{\mathbf{v}}_1+c_2{\lambda }_2^k{\mathbf{v}}_2+...+c_n{\lambda }_n^k{\mathbf{v}}_{\mathbf{n}}$$

$$={\Lambda }^k\mathbf{S}\mathbf{c}$$

---

例1 求解斐波那契数列第 100 个元素: $F_0=0$, $F_1=1$, $F_2=1$, $F_3=2$, $F_4=3$, … . 通项为 $F_{k+2}=F_{k+1}+F_k$.

令 $u_k=[F_{k+1},F_k{]}^{\top }$, 我们有 $$u_{k+1}=\left[\begin{array}{c}{F}_{k+2}\\ F_{k+1}\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]u_k$$

令 $$\mathbf{A}=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]$$

它的特征行列式为 ${\lambda }^2-\lambda -1=0$, $${\lambda }_1=\frac{1+\sqrt{5}}{2},{\mathbf{v}}_1=[{\lambda }_1,1{]}^{\top }$$

$${\lambda }_2=\frac{1-\sqrt{5}}{2},{\mathbf{v}}_2=[{\lambda }_2,1{]}^{\top }$$

因为 $|{\lambda }_2|<1$, 所以最后其实我们可以得到 $$F_{100}\approx c_1{\lambda }_1^k{\mathbf{v}}_1+c_2{\lambda }_2^k{\mathbf{v}}_2\approx c_1{\lambda }_1^k{\mathbf{v}}_1$$

斐波那契数列大概是以 ${\lambda }_1$ 的速度在增长的。