对角化非常强大，它可以抽取出线性映射中最漂亮的基，洞察空间的真实结构
但是对角化具有非常多的限制条件，例如现在已知对于 $n$ 阶方阵来说

需要有 $n$ 个线性无关的特征向量才可以对角化
需要是实对称矩阵才可以通过正交矩阵对角化
需要是 Hermitian 矩阵才可以通过酉矩阵对角化

那么有没有某一种变化，它的功效稍微低一些，但是可以对任意方阵执行呢？

定理 上三角化定理
令 $A$ 为 $\mathbb F$ 上的 $n$ 阶方阵，且 $\lambda_1, \lambda_2, \ldots, \lambda_n$ 为 $A$ 在 $\mathbb F$ 上的全部特征值（重根按重数计算）
此时，存在正则矩阵 $P$ ，使得

$P^{-1} A P = \begin{pmatrix} \lambda_1 & * & * & \cdots & * \\ 0 & \lambda_2 & * & \cdots & * \\ 0 & 0 & \lambda_3 & \cdots & * \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \lambda_n \end{pmatrix}$

证明

利用数学归纳法证明该结论
当 $n = 1$ 时，结论显然成立

假设当矩阵阶数为 $k$ 时结论成立，现考虑 $k + 1$ 阶矩阵 $A$
由于 $\mathbb F$ 上 $A$ 存在特征值 $\lambda_1$ ，取对应的特征向量 $\boldsymbol v_1$ ，并将其扩展为 $k + 1$ 维空间的基底

$\begin{pmatrix} \boldsymbol v_1 & \boldsymbol v_2 & \cdots & \boldsymbol v_{k+1} \end{pmatrix}$

在该基底下，线性变换 $T_A$ 的矩阵表示为

$[T_A]_{\mathcal B} = \begin{pmatrix} \lambda_1 & * & * & \cdots & * \\ 0 & & & & \\ 0 & & A' & & \\ \vdots & & & & \\ 0 & & & & \end{pmatrix}$

其中 $A'$ 为 $k$ 阶矩阵，且 $A'$ 在 $\mathbb F$ 上的全部特征值为 $\lambda_2, \lambda_3, \ldots, \lambda_{k+1}$
根据归纳假设，存在正则矩阵 $Q$ ，使得

$Q^{-1} A' Q = \begin{pmatrix} \lambda_2 & * & * & \cdots & * \\ 0 & \lambda_3 & * & \cdots & * \\ 0 & 0 & \lambda_4 & \cdots & * \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \lambda_{k+1} \end{pmatrix}$

令

$P = \begin{pmatrix} 1 & 0 & 0 & \cdots & 0 \\ 0 & & & & \\ 0 & & Q & & \\ \vdots & & & & \\ 0 & & & & \end{pmatrix}$

则

因此结论对 $k + 1$ 阶矩阵亦成立，归纳完毕。
$\square$

可以看出，上三角化并没有对角化那么漂亮，最根本的原因在于这不是唯一的。上三角化得到的矩阵中有多个不唯一的元素
所以，尽可能的在上三角化中，选取某一类固定的，漂亮的矩阵作为唯一分解结果，这样一来对任意矩阵都可以得到一个上三角的标准形式

# 广义特征空间

在经过对角化的学习后，应该要能看出对角化的本质是对线性空间执行的直和分解。分解的基本单位是特征空间。
而只有在特征空间的维数和等于该空间的维数时，这个分解才可以执行。为了找到一般矩阵的 “对角化”，首先需要克服的问题就是直和分解
作为代替，我们来证明 $\mathbb F^n$ 时常可以被分解为广义特征空间的直和

不要忘记之前的结论：任意一个定义在 $\mathbb F$ 上的 $n$ 维线性空间 $V$ 与 $\mathbb F^n$ 同构

定义
令 $V$ 为 $n$ 维线性空间， $f: V \to V$ 为线性变换， $\lambda \in \mathbb F$ 为 $f$ 的特征值
定义 $V$ 上的线性变换

$\varphi_\lambda := f - \lambda \mathrm{id}_V: V \to V$

称

$\widetilde W := \{\boldsymbol v \in V \mid \varphi_\lambda^n(\boldsymbol v) = \boldsymbol 0\}$

为线性变换 $f$ 关于特征值 $\lambda$ 的 广义特征空间 (Generalized Eigenspace)「広義固有空間」。

本质上可以看出 $\widetilde W = \mathrm{Ker}(\varphi_\lambda^n)$ ，所以 $\widetilde W$ 确实是 $V$ 的子空间

如果对原本的线性变换进行限制，即

$f|_{\widetilde W}: \widetilde W \to \widetilde W$

那么因为

$\begin{aligned} (\varphi_\lambda \circ f)(\boldsymbol v) &= f(f(\boldsymbol v)) - \lambda f(\boldsymbol v) \\ &= f(f(\boldsymbol v)) - f(\lambda \boldsymbol v) \\ &= (f \circ \varphi_\lambda)(\boldsymbol v) \end{aligned}$

注意到 $\varphi_\lambda^n(\boldsymbol v) = \boldsymbol 0$ ，所以

$\varphi_\lambda^n \circ f = f \circ \varphi_\lambda^n$

那么

$(\varphi_\lambda^n \circ f)(\boldsymbol v) = (f \circ \varphi_\lambda^n)(\boldsymbol v) = f(\boldsymbol 0) = \boldsymbol 0$

这意味着 $f(\boldsymbol v) \in \widetilde W$ ，也就是说 $f|_{\widetilde W}$ 也是 $\widetilde W$ 上的线性变换

在执行广义特征空间的直和分解之前，首先需要确定其直和结构

命题
令 $\lambda_1, \lambda_2, \ldots, \lambda_k$ 为线性变换 $f: V \to V$ 在 $\mathbb F$ 上的全部不同特征值，则

$\widetilde W_{\lambda_1} + \widetilde W_{\lambda_2} + \cdots + \widetilde W_{\lambda_k} = \widetilde W_{\lambda_1} \oplus \widetilde W_{\lambda_2} \oplus \cdots \oplus \widetilde W_{\lambda_k}$

证明

基于归纳法证明
当 $k = 1$ 时，结论显然成立
假设当 $k = m$ 时结论成立，现考虑 $k = m + 1$ 的情形
取任意 $\boldsymbol v \in \widetilde W_{\lambda_1} + \widetilde W_{\lambda_2} + \cdots + \widetilde W_{\lambda_{m+1}}$ ，则存在 $\boldsymbol v_i \in \widetilde W_{\lambda_i}$ ，使得

$\boldsymbol v = \sum_{i=1}^{m+1} \boldsymbol v_i$

应用归纳假设，有

$\sum_{i=1}^m \boldsymbol v_i = \boldsymbol w_1 + \boldsymbol w_2$

其中 $\boldsymbol w_1 \in \widetilde W_{\lambda_1} \oplus \widetilde W_{\lambda_2} \oplus \cdots \oplus \widetilde W_{\lambda_m}$ ， $\boldsymbol w_2 \in \widetilde W_{\lambda_{m+1}}$
所以

$\boldsymbol v = \boldsymbol w_1 + (\boldsymbol w_2 + \boldsymbol v_{m+1})$

注意到 $\widetilde W_{\lambda_{m+1}}$ 为子空间，所以 $\boldsymbol w_2 + \boldsymbol v_{m+1} \in \widetilde W_{\lambda_{m+1}}$ ，因此

$\boldsymbol v \in \widetilde W_{\lambda_1} \oplus \widetilde W_{\lambda_2} \oplus \cdots \oplus \widetilde W_{\lambda_{m+1}}$

反之亦然，所以

$\widetilde W_{\lambda_1} + \widetilde W_{\lambda_2} + \cdots + \widetilde W_{\lambda_{m+1}} = \widetilde W_{\lambda_1} \oplus \widetilde W_{\lambda_2} \oplus \cdots \oplus \widetilde W_{\lambda_{m+1}}$

$\square$

定理 ** 广义特征空间直和分解
令 $V$ 为 $\mathbb F$ 上的 $n$ 维线性空间， $f: V \to V$ 为线性变换，设 $f$ 的特征多项式形如

$F_f(\lambda) = (\lambda - \lambda_1)^{n_1} (\lambda - \lambda_2)^{n_2} \cdots (\lambda - \lambda_k)^{n_k}$

则

$V = \widetilde W_{\lambda_1} \oplus \widetilde W_{\lambda_2} \oplus \cdots \oplus \widetilde W_{\lambda_k}$

其中

$\dim \widetilde W_{\lambda_i} = n_i$

证明

对 $1 \leq i \leq k$ ，令

$g_i(\lambda) = \frac{F_A(\lambda)}{(\lambda - \lambda_i)^{n_i}}$

由 Cayley–Hamilton 定理，得到对于任意 $\boldsymbol v \in V$ ，有

$F_A(A) \boldsymbol v = (A - \lambda_i E)^{n_i} g_i(A) \boldsymbol v = \boldsymbol 0$

所以 g_i(A) \boldsymbol v \in \widetilde W_

取任意 $\boldsymbol v \in V$ ，则存在多项式 $h_i(\lambda)$ ，使得

$\sum_{i=1}^k h_i(\lambda) g_i(\lambda) = 1$

因此

$\boldsymbol v = \sum_{i=1}^k h_i(A) g_i(A) \boldsymbol v$

注意到 $g_i(A) \boldsymbol v \in \widetilde W_{\lambda_i}$ ，所以 $\boldsymbol v \in \sum_{i=1}^k \widetilde W_{\lambda_i}$ ，从而

$V = \sum_{i=1}^k \widetilde W_{\lambda_i} = \widetilde W_{\lambda_1} \oplus \widetilde W_{\lambda_2} \oplus \cdots \oplus \widetilde W_{\lambda_k}$

接下来证明 $\dim \widetilde W_{\lambda_i} = n_i$ 。
取 $\widetilde W_{\lambda_i}$ 上的任意基

$\begin{pmatrix} \boldsymbol w^i_1 & \boldsymbol w^i_2 & \cdots & \boldsymbol w^i_{m_i'} \end{pmatrix}$

通过对 $1 \leq i \leq k$ 进行排列，可以得到 $V$ 上的基
使用这个基下，线性变换 $f$ 的矩阵表示为

$[f]_{\mathcal B} = \begin{pmatrix} A_1 & 0 & 0 & \cdots & 0 \\ 0 & A_2 & 0 & \cdots & 0 \\ 0 & 0 & A_3 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & A_k \end{pmatrix}$

其中各个 $A_i$ 为 $\widetilde W_{\lambda_i}$ 上的线性变换 $f|_{\widetilde W_{\lambda_i}}$ 的矩阵表示
由于每个 $A_i$ 的特征多项式均为 $(\lambda - \lambda_i)^{m_i'}$ ，所以

$F_A(\lambda) = \prod_{i=1}^k (\lambda - \lambda_i)^{m_i'}$

又由于特征多项式的唯一性，得到 $m_i' = n_i$ ，从而 $\dim \widetilde W_{\lambda_i} = n_i$
$\square$

# Jordan 标准化

完成了直和分解的理论结构后，就可以进行对变换的构造了

定义
对于任意的数 $\lambda \in \mathbb F$ ，以及正整数 $n \in \mathbb N$ ，称 $n$ 阶矩阵

$J_n(\lambda) = \begin{pmatrix} \lambda & 1 & 0 & \cdots & 0 \\ 0 & \lambda & 1 & \cdots & 0 \\ 0 & 0 & \lambda & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 \\ 0 & 0 & 0 & \cdots & \lambda \end{pmatrix}$

为 Jordan 块 (Jordan Block)「ジョルダン細胞」。

将多个 Jordan 块沿对角线排列起来，就可以得到 Jordan 矩阵 (Jordan Matrix)「ジョルダン行列」。

$J = \begin{pmatrix} J_{n_1}(\lambda_1) & 0 & 0 & \cdots & 0 \\ 0 & J_{n_2}(\lambda_2) & 0 & \cdots & 0 \\ 0 & 0 & J_{n_3}(\lambda_3) & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & J_{n_k}(\lambda_k) \end{pmatrix}$

该矩阵阶为 $\sum_{i=1}^k n_i$

如果一个 Jordan 矩阵中，所有 Jordan 块的特征值均为相同的 $\lambda$ ，则称该 Jordan 矩阵为 $\lambda$ -Jordan 矩阵，记为 $J_\lambda$

令 $V$ 为 $\mathbb F$ 上的 $n$ 维线性空间， $f: V \to V$ 为线性变换， $\lambda$ 为 $f$ 的特征值
回忆到 $f|_{\widetilde W_\lambda}$ 为 $\widetilde W_\lambda$ 上的线性变换，设其标准矩阵为 $A_\lambda$ ，设 $\dim \widetilde W_\lambda = n_\lambda$
令 $\varphi_\lambda := f|_{\widetilde W_\lambda} - \lambda \mathrm{id}_{\widetilde W_\lambda}$ 的标准矩阵为 $N_\lambda$
则特征空间满足

$\widetilde W_\lambda = \{\boldsymbol v \in V \mid N_\lambda^n \boldsymbol v = \boldsymbol 0\}$

取 $\boldsymbol v \in \widetilde W_\lambda$ ，使得 $N_\lambda^{n_\lambda} \boldsymbol v = \boldsymbol 0$ ，构造向量组

$\begin{pmatrix} \boldsymbol v & N_\lambda \boldsymbol v & N_\lambda^2 \boldsymbol v & \cdots & N_\lambda^{n_\lambda - 1} \boldsymbol v \end{pmatrix}$

命题
若所有向量非零，则

$\mathscr N = \{ \boldsymbol v, N_\lambda \boldsymbol v, N_\lambda^2 \boldsymbol v, \ldots, N_\lambda^{n_\lambda - 1} \boldsymbol v \}$

构成 $\widetilde W_\lambda$ 的基

证明

设存在系数 $a_0, a_1, \ldots, a_{n_\lambda - 1} \in \mathbb F$ ，使得

$a_0 \boldsymbol v + a_1 N_\lambda \boldsymbol v + a_2 N_\lambda^2 \boldsymbol v + \cdots + a_{n_\lambda - 1} N_\lambda^{n_\lambda - 1} \boldsymbol v = \boldsymbol 0$

应用 $N_\lambda^{n_\lambda - 1}$ 于上式，得到

$a_0 N_\lambda^{n_\lambda - 1} \boldsymbol v = \boldsymbol 0$

由于 $N_\lambda^{n_\lambda - 1} \boldsymbol v \neq \boldsymbol 0$ ，所以 $a_0 = 0$
类似地，依次应用 $N_\lambda^{n_\lambda - 2}, N_\lambda^{n_\lambda - 3}, \ldots, N_\lambda^0$ ，可以得到 $a_1 = a_2 = \cdots = a_{n_\lambda - 1} = 0$
因此，向量组 $\mathscr N$ 线性无关

又由于 $\widetilde W_\lambda$ 的维数为 $n_\lambda$ ，所以 $\mathscr N$ 构成 $\widetilde W_\lambda$ 的基
$\square$

不妨假设上述向量组中的所有向量均非零，那么就可以构造出 $\widetilde W_\lambda$ 的基 $\mathcal N$

符号上，令

$\begin{cases} \boldsymbol e_1 := \boldsymbol v \\ \boldsymbol e_2 := N_\lambda \boldsymbol v \\ \boldsymbol e_3 := N_\lambda^2 \boldsymbol v \\ \vdots \\ \boldsymbol e_{n_\lambda} := N_\lambda^{n_\lambda - 1} \boldsymbol v \end{cases}$

显然，此时具有映射关系链

$e_{n_\lambda} \xrightarrow{N_\lambda} e_{n_\lambda - 1} \xrightarrow{N_\lambda} e_{n_\lambda - 2} \xrightarrow{N_\lambda} \cdots \xrightarrow{N_\lambda} e_2 \xrightarrow{N_\lambda} e_1 \xrightarrow{N_\lambda} 0$

回看矩阵 $A_\lambda$ 在基底 $\mathcal N$ 下的表现：

$\begin{aligned} A \boldsymbol e_1 &= \lambda \boldsymbol e_1 \\ A \boldsymbol e_2 &= \boldsymbol e_1 + \lambda \boldsymbol e_2 \\ A \boldsymbol e_3 &= \boldsymbol e_2 + \lambda \boldsymbol e_3 \\ &\vdots \\ A \boldsymbol e_{n_\lambda} &= \boldsymbol e_{n_\lambda - 1} + \lambda \boldsymbol e_{n_\lambda} \end{aligned}$

因此，矩阵 $A_\lambda$ 在基底 $\mathcal N$ 下的矩阵表示为

$\begin{pmatrix} \boldsymbol v & N_\lambda \boldsymbol v & \cdots & N_\lambda^{n_\lambda - 1} \boldsymbol v \end{pmatrix}^{-1} A_\lambda \begin{pmatrix} \boldsymbol v & N_\lambda \boldsymbol v & \cdots & N_\lambda^{n_\lambda - 1} \boldsymbol v \end{pmatrix} = \begin{pmatrix} \lambda & 1 & 0 & \cdots & 0 \\ 0 & \lambda & 1 & \cdots & 0 \\ 0 & 0 & \lambda & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 \\ 0 & 0 & 0 & \cdots & \lambda \end{pmatrix}$

这正是我们想要寻找的 Jordan 矩阵。
对每一个特征值 $\lambda_i$ ，都可以通过类似的方式构造出 $\widetilde W_{\lambda_i}$ 上的 Jordan 矩阵 $J_{\lambda_i}$
再通过广义特征空间的直和分解，就可以得到整个空间 $V$ 上的 Jordan 矩阵表示

定理 Jordan 标准型定理
对于任意 $n$ 阶方阵 $A$ ，令其特征多项式为

$F_A(\lambda) = (\lambda - \lambda_1)^{n_1} (\lambda - \lambda_2)^{n_2} \cdots (\lambda - \lambda_k)^{n_k}$

则存在正则矩阵 $P$ ，使得

$P^{-1} A P = \begin{pmatrix} J_1 & 0 & 0 & \cdots & 0 \\ 0 & J_2 & 0 & \cdots & 0 \\ 0 & 0 & J_3 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & J_k \end{pmatrix}$

其中，各个 $J_i$ 为 Jordan 矩阵

$J_i = \begin{pmatrix} J_{\lambda_i}(\ell_1^i) & 0 & 0 & \cdots & 0 \\ 0 & J_{\lambda_i}(\ell_2^i) & 0 & \cdots & 0 \\ 0 & 0 & J_{\lambda_i}(\ell_3^i) & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & J_{\lambda_i}(\ell_{m_i}^i) \end{pmatrix},\qquad \sum_{j=1}^{n_i} \ell_j^i = n_i$

该分解在 Jordan 块的排列顺序上唯一

证明

暂时省略，不妨参考 www.chart.co.jp 官网给出的说明

由此，求解矩阵的 Jordan 标准化的流程为

计算矩阵的特征多项式，并分解出全部特征值及其重数
对于每一个特征值 $\lambda_i$ ，计算各个 $(A - \lambda_i I)^p$ 的秩，从而计算出各个阶数的 Jordan 块数量
将各个 Jordan 块沿对角线排列起来，得到 Jordan 矩阵
计算出相应的相似变换矩阵 $P$ ，从而完成 Jordan 标准化

示例
计算矩阵

$A = \begin{pmatrix} -6 & -7 & 2 \\ 5 & 6 & -2 \\ -7 & -9 & 1 \end{pmatrix}$

的 Jordan 标准型。

解

首先，计算矩阵 $A$ 的特征多项式

$\begin{aligned} F_A(\lambda) &= \det(\lambda E - A) \\ &= \begin{vmatrix} \lambda + 6 & 7 & -2 \\ -5 & \lambda - 6 & 2 \\ 7 & 9 & \lambda - 1 \end{vmatrix} \\ &= (\lambda + 1 )^2 (\lambda - 3) \end{aligned}$

因此，根据特征根的重数

$\dim \widetilde W_{-1} = 2, \quad \dim \widetilde W_{3} = 1$

(1) 对于特征值 $\lambda_1 = 3$ ，解方程 $(A - 3E) \boldsymbol x = \boldsymbol 0$ ，得到特征向量，同时也是 $\widetilde W_3$ 的基

$\boldsymbol v_1 = \begin{pmatrix} 1 \\ -1 \\ 1 \end{pmatrix}$

(2) 对于特征值 $\lambda_2 = -1$ ，注意该空间维度为 $2$ ，所以需要解出满足 $(A + E)^2 \boldsymbol x = \boldsymbol 0$ 的向量，得到

$\boldsymbol v_2 = \begin{pmatrix} -4 \\ 3 \\ 0 \end{pmatrix}, \quad \boldsymbol v_3 = \begin{pmatrix} 1 \\ 0 \\ 3 \end{pmatrix}$

构造 $\widetilde W_{-1}$ 的基，其中 $\boldsymbol v_3 = (A + E) \boldsymbol v_2$

$\begin{pmatrix} \boldsymbol v_2 & \boldsymbol v_3 \end{pmatrix} = \begin{pmatrix} \begin{pmatrix} -4 \\ 3 \\ 0 \end{pmatrix} & \begin{pmatrix} -1 \\ 1 \\ 1 \end{pmatrix} \end{pmatrix}$

计算各个基向量在 $A$ 下的映射

$\begin{aligned} A \boldsymbol v_1 &= 3 \boldsymbol v_1 \\ A \boldsymbol v_2 &= -\boldsymbol v_2 \\ A \boldsymbol v_3 &= \boldsymbol v_2 - \boldsymbol v_3 \end{aligned}$

构造相似变换矩阵

$P = \begin{pmatrix} \boldsymbol v_2 & \boldsymbol v_3 & \boldsymbol v_1 \end{pmatrix} = \begin{pmatrix} -4 & -1 & 1 \\ 3 & 1 & -1 \\ 0 & 1 & 1 \end{pmatrix}$

因此，

$P^{-1} A P = \begin{pmatrix} 3 & 0 & 0 \\ 0 & -1 & 1 \\ 0 & 0 & -1 \end{pmatrix}$

$\square$

# 广义特征空间

# Jordan 标准化

【线性代数】6-线性空间

【数理统计】5-中心极限定理