这一节是相当于对之前所有内容的一个总括，也是对线性代数的研究对象 – 矩阵 – 的一个总结 （从vector space的角度）。
这四个space分别是
Column space C ( A ) C(\bm{A}) C(A).Null space N ( A ) N(\bm{A}) N(A).Row space C ( A ⊤ ) C(\bm{A}^\top) C(A⊤).Left null space N ( A ⊤ ) N(\bm{A}^\top) N(A⊤).其中 C ( A ) C(\bm{A}) C(A) 和 N ( A ) N(\bm{A}) N(A) 我们之前就接触过了，那row space 和left null space是什么呢？
Row space – 矩阵的行张成的space，可以想象成 A ⊤ \bm{A}^\top A⊤ 的列空间，也可以想象成 A \bm{A} A 左乘一个行向量得到的所有行向量组成的空间。
Left null space – 其实就是 x ⊤ A = 0 \bm{x}^\top\bm{A}=0 x⊤A=0 的解空间，其中 x ⊤ \bm{x}^\top x⊤ 是个行向量。当然也可以想象成 A ⊤ \bm{A}^\top A⊤ 的 null space。
作为总结，我们关注这四个space的dimension & basis。首先搬出Prof. Strang中的图片, 然后我们来挨个详述。 令 Size ( A ) = m × n \text{Size}(\bm{A})=m\times n Size(A)=m×n, Rank ( A ) = r \text{Rank}(\bm{A})=r Rank(A)=r,
Column space我们都很熟悉了，它是 A \bm{A} A 所有列的线性组合构成的空间。
它是 R m \mathbb{R}^m Rm 空间中一个dim是 r r r 的子空间。它的basis的找法就是把 A \bm{A} A 化为行最简形 R \bm{R} R，找到 pivots 所在的列，在 A \bm{A} A 中取出这些列便是 C ( A ) C(\bm{A}) C(A) 的basis。Note: 在把 A \bm{A} A 化为 R \bm{R} R 的过程中，矩阵的 column space是变化的 （row space 不变），因此，一定要从 A \bm{A} A 中取出对应的列作为basis。
Null space 我们也是比较熟悉的, 它是所有把 A \bm{A} A 置零的列向量构成的空间。
它是 R n \mathbb{R}^n Rn 空间中一个dim是 n − r n-r n−r 的子空间。它的basis的找法就是把 A \bm{A} A 化为行最简形 R \bm{R} R （以 [ I , F ] [\bm{I,F}] [I,F] 的形式），找到 pivots columns 和 free columns。free columns对应的 x i x_i xi 可以随便选，因此我们可以直接选为size为 n − r n-r n−r 的单位阵，这样pivot columns 对应的 x i x_i xi 便是 − F -\bm{F} −F 了。这样以来， [ − F ; I ] ⊤ [-\bm{F}; \bm{I}]^\top [−F;I]⊤ 即为一组 n − r n-r n−r 个特解，他们也就是null space的basis。Note: 不理解的同学说明第七讲没看懂哦。
Row space是 A \bm{A} A 所有行的线性组合构成的空间。
它是 R n \mathbb{R}^n Rn 空间中一个dim是 r r r 的子空间。它的basis的找法就是把 A \bm{A} A 化为行最简形 R \bm{R} R， R \bm{R} R的前 r r r 行便是basis。 ，在 A \bm{A} A 中取出这些列便是 C ( A ) C(\bm{A}) C(A) 的basis。Note: 在把 A \bm{A} A 化为 R \bm{R} R 的过程中，矩阵的row space 不变，因此， R \bm{R} R的row space便是 A \bm{A} A的row space。
Left null space 是所有把 A \bm{A} A 置零的行向量所构成的空间。
它是 R m \mathbb{R}^m Rm 空间中一个dim是 m − r m-r m−r 的子空间。它的basis的找法稍微麻烦一点，不过过程还是一致的。同样的，把 A \bm{A} A 化为行最简形 R \bm{R} R，这一过程可以表示为 E A = R \bm{EA=R} EA=R 其中 E \bm{E} E 是一系列的初等矩阵的乘积。注意， N ( A ⊤ ) N(\bm{A}^\top) N(A⊤)的 dimension 是 m − r m-r m−r，因此 R \bm{R} R 最下面的 m − r m-r m−r 行是全零行。因此 E E E的最下面 m − r m-r m−r 行便是 N ( A ⊤ ) N(\bm{A}^\top) N(A⊤) 的basis。最后，我们看一下 Prof. Strang画的图。先看左边：
他把 row space和null space 画在了左边，原因是他们都在同一空间 R n \mathbb{R}^n Rn 中。row space和null space 相互没有交集，这是因为他们是相互正交的。row space和null space 是 R n \mathbb{R}^n Rn 中的一对正交补 orthogonal complement，他们在一起构成了整个space R n \mathbb{R}^n Rn。两个vector正交很好理解，就是内积为0，两个subspace正交的意思是，其中一个subspace上任意vector都和另一subspace上所有的vector正交。我们来看下为什么 row space 和 null space 是正交的。其实很简单，注意 A x = 0 \bm{Ax=0} Ax=0
的含义是什么，是 null space 中的任意vector x \bm{x} x 把 matrix A \bm{A} A 置零，这个零指的是零向量，因此实际上 x \bm{x} x 与 A \bm{A} A 的每一行的内积都是零，即都是正交的。换句话说， A \bm{A} A 的 null space中任意向量都和 A \bm{A} A 的每一行正交，那也就和 A \bm{A} A 的 row space 正交。
另一方面，在图的右边，我们可以得到类似的结论
column space 和 left null space 在同一空间 R m \mathbb{R}^m Rm 中。column space 和 left null space 相互正交。column space 和 left null space 是 R m \mathbb{R}^m Rm 中的一对正交补.这三点从 A ⊤ y = 0 \bm{ A^\top y=0} A⊤y=0
中很好理解: A ⊤ \bm{ A^\top} A⊤的行是 A \bm{ A} A 的列， y \bm{y} y 所在空间是left null space。
在这节课的最后，Prof. Strang讲了matrix space。实际上和vector space一样，matrix space就是对加法和数乘封闭的space，只不过里面的元素全都是矩阵。
比如所有 n × n n\times n n×n的matrix构成了一个space，它的一些subspace有： Upper triangular matrices Symmetric matrices Diagonal matrices
每一类矩阵内任取俩线性组合得到的矩阵仍然属于这一类矩阵，全零矩阵也在在其中 – 他们都是matrix space。
