Introduction to Linear Algebra, Chapter-1, Introductionto Vectors, Key Notes

本人在阅读MIT数学教授Gilbert Strang所著线性代数教材"Introduction to Linear Algebra(Fifth Edition)"过程中敲下的笔记

我是用的教学视频是BV1uK4y187ep

课后习题答案即其相关资料可参照math.mit.edu/linearalgebra

1.1 Vectors and Linear Combinations

Column Vector（列向量） $$v=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$$

Vector Addition（向量加法） $$v=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right],w=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right],v+w=\left[\begin{array}{c}{v}_1+w_1\\ v_2+w_2\end{array}\right]$$

Scalar Multiplication（标量乘法） $$cv=\left[\begin{array}{c}c{v}_1\\ c{v}_2\end{array}\right]$$

Linear Combination（线性组合） $$cv+dw=\left[\begin{array}{c}c{v}_1+d{w}_1\\ c{v}_2+d{w}_2\end{array}\right]$$

1.2 Length and Dot Products

Dot Product/Inner Product（向量的点积/内积） $$v\cdot w=v_1{w}_1+v_2{w}_2$$ 当两个向量的点积为0时，这两个向量相互垂直（perpendicular）

DEFINITION: Length of Vecter $||v||$ if the squre root of $v\cdot v$ 定义：一个向量的模（长度）是它自己和自己的点积的平方根。

$$\mathbf{l}\mathbf{e}\mathbf{n}\mathbf{g}\mathbf{t}\mathbf{h}=||v||=\sqrt{v\cdot v}=(v_1^2+v_2^2+\cdots +v_n^2{)}^{1/2}$$

DEFINITION: A unit vector is a vector whose length is 1 定义：模长为1的向量叫做单位向量 $$\mathbf{U}\mathbf{n}\mathbf{i}\mathbf{t}\mathbf{V}\mathbf{e}\mathbf{c}\mathbf{t}\mathbf{o}\mathbf{r}\mathbf{s}:u\cdot u=1$$

produce a unit vector in the same direction as $v$ from $v$ $$u=v/||v||$$

COSINE FORMULA if $v$ and $w$ are nonzeoro vectors, then $$\cos \theta =\frac{v\cdot w}{||v||||w||}$$ $\theta$ is the angle from $v$ to $w$

SCHWARZ INEQUALITY（施瓦尔兹不等式） $$v\cdot w\le ||v||||w||$$ as $\cos \le 1$

TRIANGLE INEQUALITY（三角不等式） $$||v+w||\le ||v||+||w||$$

几何平均与算数平均 $$\sqrt{xy}\le \frac{1}{2}(x+y)$$ can be proved if we let $x=a^2$ and $y=b^2$

1.3 Matrices

矩阵与向量相乘，得到的结果是原矩阵的各个列的线性组合 $Ax$ outputs a combination of the columns of $A$

逆矩阵 $$Ax=bx=A^{-1}b$$

书本这里使用一个特殊的例子把矩阵求逆和微积分做了类比，挺精彩的，建议看网课或者教材。

Independence and Dependence（线性相关和线性无关）

令$A=\left[\begin{array}{c}u,v,w\end{array}\right],Ax=b$

如果这三个向量线性相关（dependent），则$w$在$v$和$n$组成的平面上，如果这三个向量线性无关（inpedendent），则$w$不在$u$和$v$组成的平面上。

如果$u,v,w$线性无关，只有$0u+0v+0w$才能让$b=0$，如果$u,v,w$线性相关，一定存在其他组和可以让$b=0$

如果$u,v,w$线性无关，则$Ax=0$只有一个解且$A$可逆，如果$u,v,w$线性相关则$Ax=0$有无穷多的解且矩阵$A$不可逆（奇异矩阵）

有趣的习题

1.2.32 证明对于三个元素证明几何平均$\le$算术平均

证明：$\sqrt{xyz}\le \frac{1}{3}(x+y+z)$ 显然，当$x=y=z$是，原不等式成立，其他情况下设$z\le x\le y$，并令$A=\frac{1}{3}(x+y+z)$，则$z<A<y$ 对于$x$和$y+z-A$两个数，使用对于两个数字的几何平均$\le$算术平均不等式，有$\sqrt{x(y+z-A)}\le \frac{1}{2}(x+y+z-A)=A$ $\therefore x(y+z-A)A\le A^3$ $\therefore x[(y-A)(A-z)+yz]\le A^3$ $\because (y-A)(A-z)>0$ $\therefore xyz\le A^3$ ${\therefore }^3\sqrt{xyz}<A=\frac{1}{3}(x+y+z)$ 综上，${}^3\sqrt{xyz}\le \frac{1}{3}(x+y+z)$得证

1.2.34（这道题目有点小错误啊）

题面： 首先，我们随机生成一个三维单位向量$u$，然后，我们随机生成一组三维单位向量$U$，然后，对于每一个$U_i$，计算$|u\cdot U_i|$，即$|\cos (\theta )|$，然后计算所有内积的平均值$a=\frac{1}{n}{\sum }_{i=1}^{i=n}|u\cdot U_i|$，从微积分的角度来讲，$a$的值应该接近$\frac{1}{\pi }{\int }_0^{\pi }|\cos \theta |\delta \theta =\frac{2}{\pi }$。

解题过程： 一开始，我严格按照题目要求计算了这个平均值，发现$a\approx .5$，而$\frac{2}{\pi }\approx 0.637$，这个差距就有点大了。

我最开始怀疑，是不是因为用randn函数随机生成向量，导致生成的单位向量在三维球面上不能均匀分布，于是我（不怎么严谨的）通过可视化数据的方式查看了一下随机生成的数据，发现分布的很均匀，问题不在这里。

然后，我重新看了几遍体面，发现体面给的这个定积分$\frac{1}{\pi }{\int }_0^{\pi }|\cos \theta |\delta \theta =\frac{2}{\pi }$的隐含假设是$\theta$在$[0,\pi ]$上均匀分布，对于随机生成的二维单位向量，向量的“终点”均匀分布在单位圆上，所以$\theta$也是均匀分布的，但如果是对于三维单位向量，虽然其终点在单位球上均匀分布，但是$\theta$未必是均匀分布了。

我用Python验证了一下我的猜想，结果如下：

这是针对二维单位向量的结果，可以看到测试样本均匀分布在单位圆上，$\theta$也基本呈现均匀分布，所以计算出的均值和理论值$2/\pi$基本接近。

这是针对三维单位向量的结果，可以看到测试样本均匀分布在单位球上，但是$\theta$就不是均匀分布的了，这也导致使用三维向量计算出的$a=\frac{1}{n}{\sum }_{i=1}^{i=n}|u\cdot U_i|\approx 0.5$，与定积分$\frac{1}{\pi }{\int }_0^{\pi }|\cos \theta |\delta \theta =\frac{2}{\pi }$相去甚远。

我承认，MIT教材中引入微积分进行类比的操作让我眼前一亮，但是这一道思考题明显出了一点小差错（难不成是故意的？）

这是网站上这道题目的官方答案：

我的代码：

import numpy as np import seaborn as sns import matplotlib.pyplot as plt from mpl_toolkits import mplot3d dim = 3 size = 2000 sns.set() u = np.random.randn(dim) u = u / np.linalg.norm(u) sample = np.random.randn(dim, size) s = 0 theta = [] for i in range(size): v = sample[:, i] v = v / np.linalg.norm(v) s = s + abs(u.dot(v)) theta.append(np.arccos(u.dot(v))) sample[:, i] = v s = s / size if dim == 2: plt.figure(figsize=(5, 5)) plt.scatter(sample[0], sample[1], s=0.1) plt.title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}') plt.show() plt.figure(figsize=(5, 5)) plt.hist(theta, bins=30) plt.title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}') plt.show() if dim == 3: fig, ax = plt.figure(), plt.axes(projection='3d') ax.scatter3D(sample[0], sample[1], sample[2], s=0.5) ax.set_title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}') fig.show() plt.figure(figsize=(5, 5)) plt.hist(theta, bins=30) plt.title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}') plt.show()

我的1.2习题解答

我的1.3习题解答