# 内积空间

• 称配备了内积的线性空间为 内积空间 (Inner Product Space)「内積空間」
• 共轭对称性也称 Hermitian 对称性

！注意，目前我们只考虑两类系数上的内积空间

• 若域 $\mathbb F$ 为实数域 $\mathbb R$，则称其为 实内积空间
• 若域 $\mathbb F$ 为复数域 $\mathbb C$，则称其为 复内积空间

实际上，如果指定是在 $\mathbb R$ 上的线性空间，那么由于系数共轭 $\overline k = k$，所以

• 共轭对称性转为一般的对称性：$\langle \boldsymbol a, \boldsymbol b \rangle = \langle \boldsymbol b, \boldsymbol a \rangle$
• 线性性转为双线性：$\langle k \boldsymbol a + \boldsymbol b, \boldsymbol c \rangle = k \langle \boldsymbol a, \boldsymbol c \rangle + \langle \boldsymbol b, \boldsymbol c \rangle$，且 $\langle \boldsymbol a, k \boldsymbol b + \boldsymbol c \rangle = k \langle \boldsymbol a, \boldsymbol b \rangle + \langle \boldsymbol a, \boldsymbol c \rangle$

对于内积空间中的元 $\boldsymbol a$，定义

$$\|\boldsymbol a\| = \sqrt{\langle \boldsymbol a, \boldsymbol a \rangle}$$

称为 $\boldsymbol a$ 的 范数 (Norm)「ノルム」，这是对向量长度的衡量指标
配备了范数的线性空间称为 赋范线性空间 (Normed Linear Space)「ノルム付き線形空間」
所有的内积空间都是赋范空间，但是反过来不成立

• 显然的，Euclidean 内积是 Hermitian 内积在实数域上的特例

内积具备两个基本的不等式关系

• 注意：由于内积 $\langle \boldsymbol a, \boldsymbol b \rangle$ 退化为 $\mathbb F$ 中的数值，因此内积的范数可以简单写为模长 $|\langle \boldsymbol a, \boldsymbol b \rangle|$

# 正交归一基

类似在平面几何中，Eucliden 内积为 $0$ 等价于，两个向量互相垂直
在内积空间中，称两个向量 $\boldsymbol a, \boldsymbol b$ 互相 正交 (Orthogonal)「直交」，当且仅当

$$\langle \boldsymbol a, \boldsymbol b \rangle = 0$$

进一步可以从向量之间的正交关系，推广到子空间的正交关系
令内积空间 $V$ 的子空间 $W$，定义与 $W$ 的全体向量都正交的向量集合

$$W^\perp = \{\boldsymbol v \in V \mid \langle \boldsymbol v, \boldsymbol w \rangle = 0, {}^\forall \boldsymbol w \in W\}$$

称 $W^\perp$ 为 $W$ 的 正交补 (Orthogonal Complement)「直交補空間」

利用正交补，可以对任意 $V$ 执行正交分解

两个向量正交，意味着它们的方向完全不一致。而正交对于基来说意义更加重大，两个正交的基向量意味着它们最大程度地独立，不会出现冗余，这使得利用这组基来表示向量时，它地坐标能真正意义上地反映向量在各个方向上的分量。
同时，为了消除没有必要的数量级影响（因为我们只关注线性空间的生成方向），所有的基都可以方向不变地缩短到单位长度。
这样一来，就得到了线性空间中最关键的骨架

• 其中 $\delta_{ij}$ 为 Kronecker-delta 符号，定义为

$$\delta_{ij} = \begin{cases} 1, & i = j \\ 0, & i \neq j \end{cases}$$

如果能在内积空间 $V$ 上构建出一组正交归一基，那么基于该基的坐标，任意内积运算都可以退化为 Hermitian 内积的形式

正交归一基如此完美，以至于我们想在任意的内积空间中都能构造出一组正交归一基

想象一组空间中线性独立的基向量，一般地它们并不互相正交。
选取其中某一个作为修正的起点，接下来维持它的位置不变。
选取第二个操作的基向量，目的是通过某种变换让它与第一个基向量正交。
显然，胡乱的改变它的方向只可能导致信息被破坏，甚至不构成基的结构。所以需要考虑投影

这个结论指出，对于任意给定的向量 $\boldsymbol v$，和子空间 $W$，都可以将 $\boldsymbol v$ 分解为两个部分

• 一个是处于子空间 $W$ 上的投影 $\mathrm{proj}_W(\boldsymbol v)$
• 另一个是与子空间 $W$ 正交的部分 $\boldsymbol v - \mathrm{proj}_W(\boldsymbol v)$

这里的 $\boldsymbol v - \mathrm{proj}_W(\boldsymbol v)$ 就是我们需要的，将 $\boldsymbol v$ 调整为与 $W$ 正交的向量，这样一来就获得了两个正交的基向量

重复上述思路，对第三个基向量进行类似的处理，取其在前两个基向量张成的子空间上的投影，然后减去该投影，得到一个与前两个基向量正交的向量
如此反复，直到所有的基向量都被处理完毕，就得到了一个正交基
将每个基向量除以其范数，就得到了正交归一基。这个流程被称为 Gram-Schmidt 正交化过程 (Gram-Schmidt Orthogonalization Process)「グラム・シュミットの直交化法」
Gram-Schmidt 正交化过程保证了在任意内积空间中，都能构造出一组正交归一基

接下来用式子表述上述流程
给定内积空间 $V$ 上的一组基 $\mathscr A = \begin{pmatrix} \boldsymbol a_1 & \boldsymbol a_2 & \cdots & \boldsymbol a_n \end{pmatrix}$
对第一个向量进行固定处理，设

$$\boldsymbol b_1 = \boldsymbol a_1$$

将第二个向量，减去其在第一个向量所张子空间上的投影，设

$$\boldsymbol b_2 = \boldsymbol a_2 - \mathrm{proj}_{\langle \boldsymbol b_1 \rangle}(\boldsymbol a_2) = \boldsymbol a_2 - \frac{\langle \boldsymbol a_2, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} \boldsymbol b_1$$

将第三个向量，减去其在前两个向量所张子空间上的投影，设

$$\boldsymbol b_3 = \boldsymbol a_3 - \mathrm{proj}_{\langle \boldsymbol b_1, \boldsymbol b_2 \rangle}(\boldsymbol a_3) = \boldsymbol a_3 - \frac{\langle \boldsymbol a_3, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} \boldsymbol b_1 - \frac{\langle \boldsymbol a_3, \boldsymbol b_2 \rangle}{\langle \boldsymbol b_2, \boldsymbol b_2 \rangle} \boldsymbol b_2$$

依此类推，直到第 $n$ 个向量，设

$$\boldsymbol b_n = \boldsymbol a_n - \sum_{i=1}^{n-1} \frac{\langle \boldsymbol a_n, \boldsymbol b_i \rangle}{\langle \boldsymbol b_i, \boldsymbol b_i \rangle} \boldsymbol b_i$$

则 $\mathscr B = \begin{pmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \cdots & \boldsymbol b_n \end{pmatrix}$ 为 $V$ 上的一组正交基
将每个向量归一化，设

$$\boldsymbol u_i = \frac{\boldsymbol b_i}{\|\boldsymbol b_i\|},\quad i = 1,2,\dots,n$$

则 $\mathscr U = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix}$ 为 $V$ 上的一组正交归一基
可以用过度矩阵表示上述过程

$$\begin{aligned} \begin{pmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \cdots & \boldsymbol b_n \end{pmatrix} &= \begin{pmatrix} \boldsymbol a_1 & \boldsymbol a_2 & \cdots & \boldsymbol a_n \end{pmatrix} \begin{pmatrix} 1 & -\frac{\langle \boldsymbol a_2, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} & -\frac{\langle \boldsymbol a_3, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} \\ 0 & 1 & -\frac{\langle \boldsymbol a_3, \boldsymbol b_2 \rangle}{\langle \boldsymbol b_2, \boldsymbol b_2 \rangle} & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_2 \rangle}{\langle \boldsymbol b_2, \boldsymbol b_2 \rangle} \\ 0 & 0 & 1 & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_3 \rangle}{\langle \boldsymbol b_3, \boldsymbol b_3 \rangle} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 \end{pmatrix} \\ \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} &= \begin{pmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \cdots & \boldsymbol b_n \end{pmatrix} \begin{pmatrix} \frac{1}{\|\boldsymbol b_1\|} & 0 & 0 & \cdots & 0 \\ 0 & \frac{1}{\|\boldsymbol b_2\|} & 0 & \cdots & 0 \\ 0 & 0 & \frac{1}{\|\boldsymbol b_3\|} & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \frac{1}{\|\boldsymbol b_n\|} \end{pmatrix} \\ &= \begin{pmatrix} \boldsymbol a_1 & \boldsymbol a_2 & \cdots & \boldsymbol a_n \end{pmatrix} \begin{pmatrix} 1 & -\frac{\langle \boldsymbol a_2, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} & -\frac{\langle \boldsymbol a_3, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle} \\ 0 & 1 & -\frac{\langle \boldsymbol a_3, \boldsymbol b_2 \rangle}{\langle \boldsymbol b_2, \boldsymbol b_2 \rangle} & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_2 \rangle}{\langle \boldsymbol b_2, \boldsymbol b_2 \rangle} \\ 0 & 0 & 1 & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_3 \rangle}{\langle \boldsymbol b_3, \boldsymbol b_3 \rangle} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 \end{pmatrix} \begin{pmatrix} \frac{1}{\|\boldsymbol b_1\|} & 0 & 0 & \cdots & 0 \\ 0 & \frac{1}{\|\boldsymbol b_2\|} & 0 & \cdots & 0 \\ 0 & 0 & \frac{1}{\|\boldsymbol b_3\|} & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \frac{1}{\|\boldsymbol b_n\|} \end{pmatrix} \\ &= \begin{pmatrix} \boldsymbol a_1 & \boldsymbol a_2 & \cdots & \boldsymbol a_n \end{pmatrix} \begin{pmatrix} \frac{1}{\|\boldsymbol b_1\|} & -\frac{\langle \boldsymbol a_2, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle \|\boldsymbol b_2\|} & -\frac{\langle \boldsymbol a_3, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle \|\boldsymbol b_3\|} & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_1 \rangle}{\langle \boldsymbol b_1, \boldsymbol b_1 \rangle \|\boldsymbol b_n\|} \\ 0 & \frac{1}{\|\boldsymbol b_2\|} & -\frac{\langle \boldsymbol a_3, \boldsymbol b_2 \rangle}{\langle \boldsymbol b_2, \boldsymbol b_2 \rangle \|\boldsymbol b_3\|} & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_2 \rangle}{\langle \boldsymbol b_2, \boldsymbol b_2 \rangle \|\boldsymbol b_n\|} \\ 0 & 0 & \frac{1}{\|\boldsymbol b_3\|} & \cdots & -\frac{\langle \boldsymbol a_n, \boldsymbol b_3 \rangle}{\langle \boldsymbol b_3, \boldsymbol b_3 \rangle \|\boldsymbol b_n\|} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \frac{1}{\|\boldsymbol b_n\|} \end{pmatrix} \end{aligned}$$

# 酉变换与伴随变换

线性变换会将向量从一个位置映射到另一个位置
很自然产生的疑问是：是否存在某种特殊的线性变换，能够保持内积不变？
即线性变换 $f:V \to V$ 满足

$${}^\forall \boldsymbol a, \boldsymbol b \in V: \langle f(\boldsymbol a), f(\boldsymbol b) \rangle = \langle \boldsymbol a, \boldsymbol b \rangle$$

为了分析该问题，取 $V$ 上的一组正交归一基 $\mathscr U = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix}$
令 $A$ 为 $f$ 在 $\mathscr U$ 下的矩阵表示，即

$$\begin{pmatrix} f(\boldsymbol u_1) & f(\boldsymbol u_2) & \cdots & f(\boldsymbol u_n) \end{pmatrix} = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} A$$

那么，对于任意 $V$ 中的两个向量 $\boldsymbol a, \boldsymbol b$，取其在 $\mathscr U$ 下的坐标表示

$$\boldsymbol a = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} [\boldsymbol a]_{\mathscr U},\quad \boldsymbol b = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} [\boldsymbol b]_{\mathscr U}$$

将其经由线性变换 $f$ 映射后，有（注意过渡矩阵的定义）

$$f(\boldsymbol a) = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} A [\boldsymbol a]_{\mathscr U},\quad f(\boldsymbol b) = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} A [\boldsymbol b]_{\mathscr U}$$

那么，条件 $\langle f(\boldsymbol a), f(\boldsymbol b) \rangle = \langle \boldsymbol a, \boldsymbol b \rangle$ 等价于 Hermitian 内积形式下的等式

$$A [\boldsymbol a]_{\mathscr U} \cdot \overline{A [\boldsymbol b]_{\mathscr U}} = [\boldsymbol a]_{\mathscr U} \cdot \overline{[\boldsymbol b]_{\mathscr U}}$$

也就是说

$${}^t[\boldsymbol a]_{\mathscr U} {}^t\!A \overline A \overline{[\boldsymbol b]_{\mathscr U}} = {}^t[\boldsymbol a]_{\mathscr U} \overline{[\boldsymbol b]_{\mathscr U}}$$

由于上述等式对任意 $[\boldsymbol a]_{\mathscr U}, [\boldsymbol b]_{\mathscr U} \in \mathbb F^n$ 都成立，只需要代入 $[\boldsymbol a]_{\mathscr U} = \boldsymbol e_i$，$[\boldsymbol b]_{\mathscr U} = \boldsymbol e_j$ 即可得到

$${}^t\!A \overline A = E_n$$

• 在实内积空间中，称满足 ${}^t\!A A = E_n$ 的矩阵为 正交矩阵 (Orthogonal Matrix)「直交行列」
• 在复内积空间中，称满足 ${}^t\!A \overline A = E_n$ 的矩阵为 酉矩阵 (Unitary Matrix)「ユニタリ行列」

满足该性质的线性变换

• 在实内积空间中，称为 正交变换 (Orthogonal Transformation)「直交変換」
• 在复内积空间中，称为 酉变换 (Unitary Transformation)「ユニタリ変換」

显然，正交是酉的特例。（实际上酉也是辛的特例，在本线性代数中不予介绍）

酉变换保有内积，这意味着它是等长的，同时这也是构造正交归一基的重要工具

• 将该命题中的复数修改为实数，即可得到正交矩阵的类似结论

对于任意给定的线性变换 $f:V \to V$，考察是否可以构造其对偶。即是否存在一个线性变换 $f^*:V \to V$，使得

$${}^\forall \boldsymbol a, \boldsymbol b \in V: \langle f(\boldsymbol a), \boldsymbol b \rangle = \langle \boldsymbol a, f^*(\boldsymbol b) \rangle$$

取 $V$ 上的一组正交归一基 $\mathscr U = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix}$
令 $A$ 为 $f$ 在 $\mathscr U$ 下的矩阵表示，即

$$\begin{pmatrix} f(\boldsymbol u_1) & f(\boldsymbol u_2) & \cdots & f(\boldsymbol u_n) \end{pmatrix} = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} A$$

再设 $B$ 为 $f^*$ 在 $\mathscr U$ 下的矩阵表示，即

$$\begin{pmatrix} f^*(\boldsymbol u_1) & f^*(\boldsymbol u_2) & \cdots & f^*(\boldsymbol u_n) \end{pmatrix} = \begin{pmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_n \end{pmatrix} B$$

那么，条件 $\langle f(\boldsymbol a), \boldsymbol b \rangle = \langle \boldsymbol a, f^*(\boldsymbol b) \rangle$ 等价于 Hermitian 内积形式下的等式

$$A [\boldsymbol a]_{\mathscr U} \cdot \overline{[\boldsymbol b]_{\mathscr U}} = [\boldsymbol a]_{\mathscr U} \cdot \overline{B [\boldsymbol b]_{\mathscr U}}$$

也就是说

$${}^t[\boldsymbol a]_{\mathscr U} {}^t\!A \overline{[\boldsymbol b]_{\mathscr U}} = {}^t[\boldsymbol a]_{\mathscr U} \overline B \overline{[\boldsymbol b]_{\mathscr U}}$$

由于上述等式对任意 $[\boldsymbol a]_{\mathscr U}, [\boldsymbol b]_{\mathscr U} \in \mathbb F^n$ 都成立，只需要代入 $[\boldsymbol a]_{\mathscr U} = \boldsymbol e_i$，$[\boldsymbol b]_{\mathscr U} = \boldsymbol e_j$ 即可得到

$${}^t\!A = \overline B$$

因此，如果用记号表示共轭转置，即 $A^* = {}^t\!\overline A$

$$B = {}^t\!\overline A = A^*$$

• 称这样的线性变换 $f^*$ 为 $f$ 的 伴随变换 (Adjoint Transformation)「随伴変換」，即
• 称矩阵 $A^* = {}^t\!\overline A$ 为矩阵 $A$ 的 伴随矩阵 (Adjoint Matrix)「随伴行列」，即

在伴随矩阵的记号下

• 酉矩阵的定义可以简化为 $A^* A = E_n$
• 定义满足 $A^* = A$ 的矩阵为 Hermitian 矩阵 (Hermitian Matrix)「エルミート行列」。实对称矩阵是 Hermitian 矩阵的特例
• 定义满足 $A^* = -A$ 的矩阵为 斜 Hermitian 矩阵 (Skew-Hermitian Matrix)「歪エルミート行列」。实斜对称矩阵是反 Hermitian 矩阵的特例

类似上述的矩阵，称满足 $A A^* = A^* A$ 的矩阵为 正规矩阵 (Normal Matrix)「正規行列」。

• 酉矩阵，正交矩阵，Hermitian 矩阵，斜 Hermitian 矩阵全部都是正规矩阵的特例

正规矩阵将在接下来的对角化中发挥重要作用