这一讲主要是在说，一个 ${\mathbb{R}}^m$ 维空间中的点 (也就是一个 vector) 怎么样被投影到${\mathbb{R}}^m$ 的一个 subspace 上的。

Motivation: 对于方程 $\mathbf{A}\mathbf{x}=\mathbf{b}$，我们之前已经知道它有解的充要条件是 $\mathbf{b}$ 在 $\mathbf{A}$ 的 column space $C(\mathbf{A})$ 中。那么，如果 $\mathbf{b}$ 不在 $C(\mathbf{A})$ 中怎么办尼 （比如我们不停地对卫星的位置进行观测得到一系列的位置方程，但每个方程都有noise）？此时 exact solution 不存在，我们可以尝试求一个近似的最优解。即，把 $\mathbf{b}$ 投影到 $C(\mathbf{A})$ 上，再求出 $\hat{\mathbf{x}}$ 使得 $\mathbf{A}\hat{\mathbf{x}}=\mathbf{P}\mathbf{b}$, 其中 $\mathbf{P}$ 是一个投影矩阵 (一个vector转换到另一个vector)。

${\mathbf{A}}^{\top }\mathbf{A}$

在进入正题之前，我们先看一下矩阵 ${\mathbf{A}}^{\top }\mathbf{A}$。结论：${\mathbf{A}}_{m\times n}$ 是一个列满秩矩阵, 那么${\mathbf{A}}^{\top }\mathbf{A}$ ($n\times n$) 满秩。

Proof. 令 ${\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$, 我们只要证明 $\mathbf{x}=0$ 即可证明 ${\mathbf{A}}^{\top }\mathbf{A}$ 满秩。

由 ${\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$, 我们有 ${\mathbf{x}}^{\top }{\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$，则 $${\mathbf{x}}^{\top }{\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=(\mathbf{A}\mathbf{x}{)}^{\top }\mathbf{A}\mathbf{x}=0$$

因此 $\mathbf{A}\mathbf{x}$ 长度为 0，则 $\mathbf{A}\mathbf{x}=0$. 又 $\mathbf{A}$ 列满秩， 则 $\mathbf{x}=0$. 得证。

同理，我们可以得到，如果${\mathbf{A}}_{m\times n}$ 是行满秩, 那么$\mathbf{A}{\mathbf{A}}^{\top }$ ($m\times m$) 满秩。

二维空间

从最简单的二维空间开始，给定任一个点 $\mathbf{b}\in {\mathbb{R}}^2$, 任意一个 matrix ${\mathbf{A}}_{2\times 1}$， 其vector space就是一条直线了。我们的问题是，什么样的投影矩阵 ${\mathbf{P}}_{2\times 2}$ 能把 $\mathbf{b}$ 投影到 $C(\mathbf{A})$ 这条直线上？

设投影后的矩阵是 $\mathbf{d}$, 那么显然存在某个实数 $c$ 使得 $$\mathbf{d}=\mathbf{A}c$$

实际上，我们最后要求的也就是这个 $c$ 了。另 $${\mathbf{d}}^{\top }(\mathbf{b}-\mathbf{d})=0$$

因为误差向量 $\mathbf{b}-\mathbf{d}$ 一定是垂直于整个 subspace $C(\mathbf{A})$ 的（不然怎么叫投影）。把 $\mathbf{d}=\mathbf{A}c$ 代入，有 $${\mathbf{A}}^{\top }c(\mathbf{b}-\mathbf{A}c)=0$$

因此， $$c=\frac{{\mathbf{A}}^{\top }\mathbf{b}}{{\mathbf{A}}^{\top }\mathbf{A}}$$

$$\mathbf{d}=\mathbf{A}c=\mathbf{A}\frac{{\mathbf{A}}^{\top }\mathbf{b}}{{\mathbf{A}}^{\top }\mathbf{A}}$$

$$\mathbf{P}=\frac{\mathbf{A}{\mathbf{A}}^{\top }}{{\mathbf{A}}^{\top }\mathbf{A}}$$

这样就得到了投影矩阵 $\mathbf{P}$，我们来看看他有什么样的性质，

rank 为 1, column space 就是 $\mathbf{A}$ 的column space， i.e., the line。symmetric${\mathbf{P}}^n=\mathbf{P}$.

$m$ 维空间

好，现在我们考虑 general $m$ 维空间的情况。

给定 $\mathbf{b}\in {\mathbb{R}}^m$, matrix ${\mathbf{A}}_{m\times n}$，$m\ge n$。这里我们假设 $\mathbf{A}$ 是一个列满秩的高瘦矩阵，$C(\mathbf{A})\subseteq {\mathbb{R}}^m$。 换句话说，$\mathbf{A}$的列是 subspace $C(\mathbf{A})\subseteq {\mathbb{R}}^m$ 的一组基。

计算 $\mathbf{P}$ 的过程和之前一样，首先投影后的vector一定是在 $C(\mathbf{A})$ 上的，因此一定存在一组 $\mathbf{x}$ 使得 $$\mathbf{d}=\mathbf{A}\mathbf{x}$$

而且误差向量 $\mathbf{b}-\mathbf{d}$ 一定垂直于 $C(\mathbf{A})$， that is $${\mathbf{A}}^{\top }(\mathbf{b}-\mathbf{d})=0$$

换句话说，$\mathbf{b}-\mathbf{d}$ 在 ${\mathbf{A}}^{\top }$ 的null space里，也就是在 $\mathbf{A}$ 的left null space里(垂直于$\mathbf{A}$的column space)。 代入 $\mathbf{d}=\mathbf{A}\mathbf{x}$ 我们有 $${\mathbf{A}}^{\top }(\mathbf{b}-\mathbf{A}\mathbf{x})=0$$

$${\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}={\mathbf{A}}^{\top }\mathbf{b}$$

由于 $\mathbf{A}$ 列满秩，${\mathbf{A}}^{\top }\mathbf{A}$ 这个 $n\times n$ 的矩阵是满秩的，因此 $$\mathbf{x}=({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }\mathbf{b}$$

$$\mathbf{d}=\mathbf{A}\mathbf{x}=\mathbf{A}({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }\mathbf{b}$$

$$\mathbf{P}=\mathbf{A}({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }$$

相比于之前二维时 $\mathbf{P}=\frac{\mathbf{A}{\mathbf{A}}^{\top }}{{\mathbf{A}}^{\top }\mathbf{A}}$ 分母是实数, 这里我们没法除以一个矩阵，所以以逆的形式写出。注意，$({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}$ 是不能展开的，因为 $\mathbf{A}$ 并不是方阵逆不存在，换句话说如果 $\mathbf{A}$ 是满秩方阵，其实相当于我们把 $\mathbf{b}$ 投影到整个空间里去了，这时候可以展开得到 $\mathbf{P}={\mathbf{I}}_{\mathbf{m}}$，与我们的想法一致。

这个 $\mathbf{P}$ 满足什么性质尼?

rank是n?, yes!对称？yes!${\mathbf{P}}^n=\mathbf{P}$? yes!

总结

对于 $\mathbf{A}\mathbf{x}=\mathbf{b}$, 任意给定一个 $\mathbf{b}$ 如果不在 $\mathbf{A}$ 的 column space 中 我们仍然可以把 $\mathbf{b}$ 映射到 $\mathbf{A}$ 的 column space 中。由于整个 ${\mathbb{R}}^m$ 空间被 $\mathbf{A}$ 的column space 和 left null space 分割，因此，实际上我们是把 $\mathbf{b}$ 分成两部分 $\mathbf{d}$ 和 $\mathbf{e}$, 其中，$\mathbf{d}$在$\mathbf{A}$ 的 column space 中，$\mathbf{e}$ 在$\mathbf{A}$ 的 left null space 中，且有 $$\mathbf{d}=\mathbf{P}\mathbf{b}$$

$$\mathbf{e}=(\mathbf{I}-\mathbf{P})\mathbf{b}$$

其中 $\mathbf{P}$ 和 $\mathbf{I}-\mathbf{P}$ 都是投影矩阵。

下一讲，我们着重讲projection的一个应用：最小二乘法找最佳拟合