线代 A1 笔记 第 11 部分（正交矩阵与欧氏空间）

本节内容考虑的数域均为实数域

欧式空间

内积是正定的对称双线性函数。

• 双线性：$(k\alpha+l\beta,\gamma)= k(\alpha,\gamma) + l (\beta,\gamma)$；且 $(\gamma,k\alpha+l\beta) = k(\gamma,\alpha)+l(\gamma,\beta)$，$\forall k,l\in \mathbb{R}$。
• 对称性：$(\alpha,\beta)=(\beta,\alpha)$
• 正定性：$(\alpha,\alpha)\ge 0$，等号成立当且仅当 $\alpha=0$。

这里我们只考虑标准内积。$\alpha=(a_1, \cdots ,a_n)^T,\beta=(b_1, \cdots ,b_n)^T\in \mathbb{R}^n$ 的标准内积定义为

$$(\alpha,\beta) = \sum_{i=1}^na_ib_i$$

若集合 $X$ 上有二元函数 $d(x,y)$，满足

1. $\forall x,y\in X$ 有 $d(x,y)\ge 0$，等号成立当且仅当 $x=y$；
2. $d(x,y) = d(y,x)$；
3. $d(x,y)+d(y,z)\ge d(x,z)$。

则称 $d(x,y)$ 为 $X$ 上的距离函数，$(X,d)$ 称为度量空间。

在欧氏空间中，向量的长度定义为 $|\alpha|:=\sqrt{(\alpha,\alpha)}$，欧式距离被定义为 $|\alpha-\beta|:=\sqrt{(\alpha-\beta,\alpha-\beta)}$

欧氏距离满足三角不等式 $|\alpha|+|\beta|\ge |\alpha+\beta|$。

下面看柯西不等式的向量形式：

$$(\alpha,\alpha)(\beta,\beta)\ge(\alpha,\beta)^{2}$$

证明：由内积的正定性，$\forall t\in \mathbb{R}$ 有 $(\alpha-t\beta,\alpha-t\beta)\ge 0$，利用双线性性拆开得 $(\alpha,\alpha)-2t(\alpha,\beta)+t^2(\beta,\beta)\ge 0$，显然其为关于 $t$ 的二次函数，当 $t = \displaystyle \frac{(\alpha,\beta)}{(\beta,\beta)}$ 的时候整个式子取得最小值。即 $(\alpha,\alpha) - \displaystyle \frac{2(\alpha,\beta)(\alpha,\beta)}{(\beta,\beta)} + \frac{(\alpha,\beta)(\alpha,\beta)}{(\beta,\beta)}\ge 0$，即 $(\alpha,\alpha)(\beta,\beta)\ge (\alpha,\beta)^2$。而若等号恰好可以取到，则 $\alpha$ 与 $\beta$ 共线。

在几何空间中，夹角便可以使用内积定义：$\cos\langle \alpha,\beta \rangle =\displaystyle \frac{(\alpha,\beta)}{|\alpha||\beta|}$。

而当 $\cos\langle \alpha,\beta \rangle =0$ 的时候，$\alpha\perp \beta$，称 $\alpha$ 与 $\beta$ 正交。

标准正交基与正交矩阵

定义：欧氏空间中，由非零向量组成的两两正交的向量组称为正交向量组。

$A$ 的列向量组为正交向量组 $\iff A^TA$ 是对角元皆大于 $0$ 的对角阵 $\implies \operatorname{rank}(A) = \operatorname{rank}(A^TA) \implies A$ 的列数 $\iff A$ 的列向量组线性无关。

定理：正交向量组一定线性无关。

证明：设 $\alpha_1, \cdots ,\alpha_s$ 为正交向量组，若有 $k_1\alpha_1 + \cdots + k_s\alpha_s = 0$，则 $\forall j$ 有 $(k_1\alpha_1 + \cdots + k_s\alpha_s, \alpha_j) = 0$，利用内积的线性性拆开，$k_j\alpha_j = 0$，所以 $k_j = 0$，所以 $\forall j$ 有 $k_j =0$，证毕。

长度为 $1$ 的向量被称为单位向量，非零向量可以单位化：$\displaystyle \frac{1}{|\alpha|}\alpha$。

设 $V$ 为欧氏空间 $\mathbb{R}^n$ 的子空间，由单位正交向量组构成的基底称为 $V$ 的标准正交基。

不难发现：$\alpha_1, \cdots ,\alpha_r$ 构成 $\mathcal{C}(A)$ 的标准正交基 $\iff A^TA = I_r$。

由 $\mathbb{R}^n$ 的标准正交基 $\alpha_1, \cdots ,\alpha_n$ 排成的方阵 $A$ 称为正交矩阵。

注意到，若 $A$ 为正交矩阵，则

$$\begin{aligned} A^TA &= \begin{bmatrix} \alpha_1^T \\ \alpha_2^T \\ \vdots \\ \alpha_n^T \\\end{bmatrix}\begin{bmatrix} \alpha_1 & \alpha_2 & \cdots & \alpha_n \\\end{bmatrix} \\ &= \begin{bmatrix} \alpha_1^T\alpha_1 & \alpha_1^T\alpha_2 & \cdots & \alpha_1^T\alpha_n \\ \alpha_2^T\alpha_1 & \alpha_2^T\alpha_2 & \cdots & \alpha_2^T\alpha_n \\ \vdots & \vdots & & \vdots \\ \alpha_n^T\alpha_1 & \alpha_n^T\alpha_2 & \cdots & \alpha_n^T\alpha_n \\\end{bmatrix} = I_n \end{aligned}$$

中间那个被叫做 Gram 矩阵。

实方阵为正交矩阵，当且仅当其满足如下等价条件：

• $A^TA = I$；
• $AA^T=I$；
• $A^{-1} = A^T$；
• $A$ 的行/列向量组构成 $\mathbb{R}^n$ 的一组标准正交基。

正交矩阵有如下性质：

• 正交矩阵的乘积仍为正交矩阵。
  证明：$AB(AB)^T = ABB^TA^T = A(BB^T)A^T = AA^T = I$。
• 正交矩阵的逆/转置仍为正交矩阵。
  显然，不证。
• 正交矩阵的行列式等于 $\pm 1$。
  显然，不证。
• 正交矩阵给出正交变换：左乘正交矩阵 $A$，向量的长度，向量间的夹角保持不变。
  证明：$\forall \alpha,\beta\in \mathbb{R}^n$，$(A\alpha,A\beta) = (A\alpha)^TA\beta = \alpha^TA^TA\beta = \alpha^T\beta = (\alpha,\beta)$。

考虑欧氏空间 $\mathbb{R}^2$ 的标准正交基。

• 第一类正交矩阵：$A = \begin{bmatrix} \cos\theta & -\sin \theta \\ \sin \theta & \cos \theta \\\end{bmatrix}$，左乘其，相当于让向量逆时针旋转 $\theta$ 角。考虑他的第一列和第二列就是 $\hat{i}$ 和 $\hat{j}$ 变换后的结果。
• 第二类正交矩阵：$A = \begin{bmatrix} \cos\theta & \sin \theta \\ \sin \theta & -\cos \theta \\\end{bmatrix}$，左乘其，相当于让向量关于 $\theta / 2$ 角镜面反射。

子空间的交、和与直和

设 $V_1,V_2\subseteq V$，则

1. $V_1\cap V_2$ 为 $V$ 的子空间。
2. 一般而言，$V_1\cup V_2$ 不是 $V$ 的子空间。
   考虑 $V_1$ 为一个平面，$V_2$ 为穿过平面的直线，显然其不满足关于加法的封闭性。当然，若 $V_1$ 与 $V_2$ 有相互包含的关系，则 $V_1\cup V_2$ 能为 $V$ 的子空间。

定义子空间的和：$\left\{ \alpha+\beta\mid \alpha\in V_1,\beta\in V_2 \right\}$ 为 $V$ 的子空间，称为 $V_1$ 与 $V_2$ 的和，记作 $V_1 + V_2$。

若 $V_1+V_2$ 中每个向量写成 $\alpha + \beta~(\alpha\in V_1,\beta\in V_2)$ 的方式唯一，则称 $V_1+V_2$ 为直和，记作 $V_1\oplus V_2$。这等价于 $V_1\cap V_2=\left\{ 0 \right\}$。

子空间的维数公式：$\operatorname{dim}(V_1+V_2)=\operatorname{dim}V_1+\operatorname{dim}V_2-\operatorname{dim}(V_1\cap V_2)$，$\operatorname{dim}(V_1\oplus V_2)=\operatorname{dim}V_1+\operatorname{dim}V_2$。

正交投影与 Schmidt 正交化

设 $V$ 为欧氏空间 $\mathbb{R}^n$ 的子空间，则集合 $V^\perp := \left\{ \alpha\in R^n|\mid (\alpha,\beta)=0, \forall \beta\in V \right\}$ 也为 $\mathbb{R}^n$ 的子空间，称为 $V$ 的正交补。

定理：

• $V+V^{\perp}=\mathbb{R}^n$；

• $V\cap V^{\perp}=\left\{ 0 \right\}$；

• $\operatorname{dim} V^{\perp}=n-\operatorname{dim}V$；

• $\mathcal{C}(A)^{\perp}=\mathcal{N}(A^T)$。
  这是什么原理呢？要找到所有和 $A$ 的列向量正交的向量，那不就是转置之后解方程 $A^TX=0$ 么。

  这给了我们一种很快的求正交补的基的方法。比如说对于 $V=\langle \alpha_1,\alpha_2 \rangle \subseteq \mathbb{R}^4$，其中 $\alpha_1=(1,1,2,1)^T,\alpha_2=(1,0,0,-2)^T$，欲求 $V^\perp$，则我们解方程：

  $$\begin{bmatrix} 1&1&2&1\\1&0&0&-2 \end{bmatrix} X = 0$$

  即可，变成 rref，得到 $\begin{bmatrix}1&0&0&-2\\0&1&2&3\end{bmatrix}$。得到 $\begin{cases} x_1=2x_4 \\ x_2=-2x_3-3x_4 \end{cases}$，故解空间的基底：$(0,-2,1,0)^T$ 和 $(2,-3,0,1)^T$。

定理：$\forall \alpha\in R^n$ 和子空间 $V$，必在 $V$ 中找到唯一向量 $\beta$ s. t. $\alpha-\beta\perp V$，此时 $|\alpha-\beta|$ 为 $\alpha$ 到 $V$ 的最短距离，即 $\forall \gamma \in V \backslash \left\{ \beta \right\}$ 有 $|\alpha-\beta|<|\alpha-\gamma|$。$\beta$ 称为 $\alpha$ 在 $V$ 上的正交投影。

固定 $V$ 的一组正交基 $\beta_1, \cdots ,\beta_r$，则 $\beta = k_1\beta_1 + \cdots + k_r\beta_r\in V$ 为 $\alpha$ 在 $V$ 上的正交投影 $\iff \alpha - \beta \perp V \iff \forall i$ 有 $(\alpha-k_1\beta_1- \cdots -k_r\beta_r,\beta_i) = 0 \iff (\alpha,\beta_i) - k_i(\beta_i,\beta_i)=0 \iff k_i=\displaystyle \frac{(\alpha,\beta_i)}{(\beta_i,\beta_i)}$。这是存在且唯一的。

所以如果已知子空间正交基，求正交投影是容易的：

$$\begin{aligned} \beta = \sum_{i=1}^r \frac{(\alpha,\beta_i)}{(\beta_i,\beta_i)}\beta_i \\ \end{aligned}$$

更进一步地，如果 $\beta_1, \cdots ,\beta_r$ 为标准正交基，则 $\displaystyle \beta_i = \frac{\beta_i}{|\beta|} = \frac{\beta_i}{(\beta_i,\beta_i)}$，所以：

$$\begin{aligned} \beta &= (\alpha,\beta_1)\beta_1 + (\alpha,\beta_2)\beta_2+ \cdots +(\alpha,\beta_r)\beta_r \\ &= \beta_1(\beta_1^T\alpha)+\beta_2(\beta_2^T\alpha)+ \cdots +\beta(\beta_r^T\alpha)\\ &=(\beta_1\beta_1^T+ \cdots +\beta_r\beta_r^T)\alpha\\ &= BB^T\alpha \end{aligned}$$

$BB^T$ 就是投影矩阵。回顾一下之前说的那个 $BB^+$，注意到 $B^+ = (B^TB)^{-1}B^T = B^T$（$B$ 为正交矩阵），故对得上号。

而现在我们好奇，如果有一个线性无关的向量组，我们如何使其变为等价的正交向量组？

比如对于 $\alpha_1, \cdots ,\alpha_s$，不妨直接令 $\beta_1=\alpha_1$，然后考虑求 $\beta_2$ 使得 $\beta_2\perp\beta_1$ 且 $\beta_1,\beta_2\cong \alpha_1,\alpha_2$。发现我们可以考虑求 $\alpha_2$ 在 $\langle \beta_1 \rangle$ 上的投影，根据上面的公式，这个投影就是 $\displaystyle \frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}\beta_1$。而要求 $\beta_2$，其即为用 $\alpha_2$ 减去这个投影：$\beta_2=\displaystyle \alpha_2-\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}$。

对于剩下的，都是类似的，我们一个一个的进行。一般地，

$$\beta_r = \alpha_r-\sum_{i=1}^{r-1}\frac{(\alpha_r,\beta_i)}{(\beta_i,\beta_i)}\beta_i$$

此过程即为 Schmidt 正交化。想要得到单位向量组也是容易的，单位化即可。

正交投影的一些应用

QR 分解

我们观察如下式子：

$$\begin{aligned} \beta_1&=\alpha_1 \\ \beta_2&=\alpha_2-\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}\beta_1\\ \beta_3&=\alpha_3-\frac{(\alpha_3,\beta_1)}{(\beta_1,\beta_1)}\beta_1-\frac{(\alpha_3,\beta_2)}{(\beta_2,\beta_2)}\beta_2 \end{aligned}$$

改写一下，把 $\alpha$ 放在一边：

$$\begin{aligned} \alpha_1 &= \beta_1 \\ \alpha_2 &= \frac{(\alpha_2,\beta_1)}{|\beta_1|^{2}}\beta_1+\beta_2\\ \alpha_3&= \frac{(\alpha_3,\beta_1)}{|\beta_1|^{2}}\beta_1+\frac{(\alpha_3,\beta_2)}{|\beta_2|^{2}}\beta_2+\beta_3 \end{aligned}$$

拆成矩阵乘法的形式：

$$\begin{aligned} A &= \begin{bmatrix} \alpha_1 & \alpha_2 & \alpha_3 \\\end{bmatrix} \\ &= \begin{bmatrix} \frac{\beta_1}{|\beta_1|} & \frac{\beta_2}{|\beta_2|} & \frac{\beta_3}{|\beta_3|} \\\end{bmatrix} \begin{bmatrix} |\beta_1| & \frac{(\alpha_2,\beta_1)}{|\beta_1|} & \frac{(\alpha_3,\beta_1)}{|\beta_1|} \\ & |\beta_2| & \frac{(\alpha_3,\beta_2)}{|\beta_2|} \\ & & |\beta_3| \\\end{bmatrix}\\ &= QR \end{aligned}$$

定理：满秩的实矩阵都能唯一地写成 $QR$ 的形式，$Q$ 为正交矩阵，$R$ 为对角元都为正的上三角阵。

最小二乘解

找一个 $X$ 使得 $|AX-\beta|$ 取得最小值。注意到

$$|AX-\beta| = \sqrt{(a_{11}x_1 + \cdots +a_{1n}x_n-b_1)^{2} + \cdots + (a_{m1}x_1 + \cdots + a_{mn}x_n - b_m)^{2}}$$

这个最小肯定在 $AX=\gamma$ 的时候取到，其中 $\gamma$ 为 $\beta$ 在 $\mathcal{C}(A)$ 的正交投影。

当 $A$ 列满秩的时候，$A^TAX=A^T\beta$ 有唯一解，$X = A^+\beta$，其即为正交投影在列空间基底 $\alpha_1, \cdots ,\alpha_n$ 下的坐标。

而由 $AX=A A^+\beta$，$A A^+ \beta$ 就是所谓的那个投影啦。

回归直线与最小二乘法

给定 $n$ 个 $(a_i,b_i)$，确定一个 $y=kx+l$ s. t. 这些点到直线的距离平方和最小。

即，找到一个 $k,l$ s. t. $\displaystyle \sum_{i=1}^n(b_i-ka_i-l)^{2}$ 最小。

记 $A = \begin{bmatrix} \alpha_1 & \alpha_2 \\\end{bmatrix}=\begin{bmatrix} 1 & a_{1} \\ 1 & a_2 \\\vdots&\vdots\\ 1&a_n\\\end{bmatrix}$，$\beta = \begin{bmatrix} b_1 \\ b_2 \\ \vdots \\ b_n \\\end{bmatrix}$。那么 $\displaystyle \sum_{i=1}^n(b_i-ka_i-l)^{2} = |\beta-k\alpha_2-l\alpha_1|^{2}$。

这不就相当于要找 $X = \begin{bmatrix} l \\ k \\\end{bmatrix}\in \mathbb{R}^{2}$ 使得 $|\beta - AX|$ 最小吗。

找最小二乘解就可以了，$A$ 列满秩，于是 $X = (A^TA)^{-1}A^T\beta$。