矩阵和空间
向量
- 向量的模：$|\alpha|=\sum a_{i}^2$
- 向量的内积：$(\alpha,\beta)=\alpha^T\beta$
:::note
- 想算相似度、投影、夹角 $\rightarrow$ 用 内积,代表投影或方向的一致性（结果是标量）。$\mathbf{a} \cdot \mathbf{b} = |\mathbf{a}| |\mathbf{b}| \cos \theta$
- 想算面积、法向量、旋转 $\rightarrow$ 用 外积，才代表面积（结果是向量的长度）。$\text{Area} = |\mathbf{a}| |\mathbf{b}| \sin \theta$
想象两个完全重合的向量（夹角 $\theta = 0^\circ$）。
- 面积： 两条线重合，围不出来任何面积，面积为 0 ($\sin 0^\circ = 0$)。
- 内积： 两个向量方向完全一致，内积最大 ($\cos 0^\circ = 1$)。
所以，内积和面积的变化趋势甚至是相反的。
| 比较维度 | 内积 | 外积 |
|---|---|---|
| 关键三角函数 | $\cos \theta$ (余弦) | $\sin \theta$ (正弦) |
| 几何意义 | 投影长度 (影子) | 围成的面积 (平行四边形) |
| 何时为 0？ | 当向量垂直时 ($\perp$) | 当向量平行时 (//) |
| 物理意义 | 功 (力在位移方向的积累) | 力矩 (力使物体旋转的效果) |
:::
向量组和空间
:::note 多向量形成空间 :::
基空间$U$=极大无关列空间（互质列空间）=实空间=内空间=极大线性无关组组成的空间：$S$，$n$个向量张成的空间。
主空间$M$=存在空间=最大行空间：$S$的行的数目
虚空间$V$=主空间-基空间
我主要采用主空间-基空间的命名方法，因为基这个字的密度很大，看起来就像里面充满了向量。主字则相反，刚好对应加上了一些虚空间后密度没有那么大的空间。
练习：
- $\begin{bmatrix}a & b & b \ e & f & f \ 0 & 0 & 0\end{bmatrix}$:基向量3个，基空间2d，主空间是3d，虚空间（非饱和度）是3-2=1d. 因为基向量基空间，所以线性相关。现在这个向量空间状态是不饱和的相关向量组，存在冗余向量。因为基空间并没有主空间填满。称之为冗余不饱和态。$rank=2$
- $\begin{bmatrix}a & b & c \ e & f & g\end{bmatrix}$：基向量3，基空间2d，主空间2d，虚空间0； 基向量基空间，所以线性相关。现在这个向量空间的状态是饱和的相关向量组，存在冗余向量。基空间已经把主空间撑满。称之为冗余饱和态。$rank=2$
- $\begin{bmatrix}a & b \ e & f \ 0 & 0\end{bmatrix}$：基向量2，基空间2d，主空间3d，虚空间3-2=1d 基向量=基空间，线性无关。现在者个向量空间的状态是不饱和的不相关向量组，没有冗余向量，成为互质向量，基向量所张成的基空间并没有把主空间撑满，所以互质不饱和态。$rank=2$
- $\begin{bmatrix}a & b \ c & d\end{bmatrix}$：基向量2，基空间2d，主空间2d，虚空间0； 基向量=基空间，所以线性无关。现在这个向量空间的状态是饱和的相关向量组，不存在冗余向量。基空间已经把主空间撑满。称之为互质饱和态。$rank=2$
由上面几个例子可以看出，基空间始终是小于等于基向量数和主空间的较小值的，而此结论也可以很容易和直观地感受到。
另外冗余向量个数=基向量个数-基空间数，我们将其称之为冗余度。或者可以和虚空间对应成为虚向量，在实际空间生成过程中，虚向量也是要湮灭和塌陷的。虚空间的个数称之为非饱和度。
虚空间塌陷的方向：不同的行代表着主空间中不同的维度方向（后文中的等价向量组的定义相关：如果两个空间的虚空间塌陷方向不同，两个空间无法相互线性表出。即不是等价向量组）
关于互质向量的命名：在我自己看都比较勉强，只是从他们正交后一个向量代表一个方向来看，因为张成这个空间$n$个向量在正交化后的维度仍然是$n$个，所以这$n$个向量的简化的来看各代表一个方向，暂且称之为互质。
另外，我把主空间的基础上的虚空间称之为塌陷。而基空间在做空间变换时维度的减小称之为坍缩。
下面我们正式进入关于向量组的研究中。
标准正交基：向量两两正交的列向量组。对于任意的向量$\alpha,\beta$都有$\alpha^T\beta=0$
规范正交基：两两正交的单位向量组。在标准正交基的基础上，对每个向量进行单位化。
线性相关：$S$中至少有一个向量可以由其余向量线性表出(基向量个数基空间或者存在冗余向量)
$S$无关， $[S|\beta]$相关， $\beta$线性表出的表示法唯一：冗余度ρ=1，线性表出法唯一。
用$n$维空间表示的无关向量组个数最多是$n$个：基空间数<主空间数
$Ax=0$有非零解，$S$线性相关；$Ax=\beta$有解，则$\beta$可以被$\alpha_i$表出。
这两个公式与矩阵的乘法相关。更深入的理解需要结合。$Ax$可以理解为$x$向量在$A$空间中的坐标，但是用的是自然基$E$表示或直接地，$A$空间中的$x$向量在自然基下的位置坐标。进一步可以简化的理解为$x$向量为$A$的每个基向量们分配了系数。即$\sum x_i\alpha_i=0$，显然，如果$x$存在非零分量，那么$S$线性相关。同理，$Ax=\beta$的结论显然成立。
基向量无关（基向量=基空间），主空间升维后基向量一定无关。基向量相关，空间降维后一定也相关。 即向量空间互质非饱和态的情况下，空间升维后，向量组仍然互质。实际可参考上文给出的4个例子，可以直观理解。
相关性证明：
向量组三秩相等：r(S)=r(行向量)=r(列向量)=r(极大线性无关组)（非冗余向量组）：矩阵的秩=基空间的值=主空间的值-虚空间的值
等价向量组：向量组中的向量都可以被另一个向量组线性表出。（基空间相同）
基空间相同的意义在于其虚空间塌陷的方向是一样的。
$PA=B$：$A$生成的行向量组和$B$生成的行向量组等价。 即$A^{T}\cong B^T$.注意是转置，因为初等行变换不会改变列向量的位置，即向量转置后的虚空间的塌缩维度不会变。所以等价。