线性代数深度指南

文档概述

线性代数是现代数学与机器学习的基石。本指南从向量空间出发，系统涵盖矩阵运算与分解、特征值理论、最小二乘法以及矩阵微积分等核心内容，并深入探讨其在机器学习中的广泛应用。

关键词

序号	关键词	英文	核心概念
1	向量空间	Vector Space	$({\mathbb{R}}^n,+,\cdot )$
2	基	Basis	$\text{span}\{v_1,\dots ,v_n\}=V$
3	矩阵分解	Matrix Decomposition	$A=U\Sigma V^T$
4	特征值	Eigenvalue	$A\mathbf{v}=\lambda \mathbf{v}$
5	特征向量	Eigenvector	满足 $A\mathbf{v}=\lambda \mathbf{v}$ 的非零向量
6	正交性	Orthogonality	$⟨\mathbf{u},\mathbf{v}⟩=0$
7	最小二乘	Least Squares	$\min \Vert A\mathbf{x}-\mathbf{b}{\Vert }^2$
8	矩阵微积分	Matrix Calculus	$\frac{\partial f(X)}{\partial X}$
9	SVD	Singular Value Decomposition	$A=U\Sigma V^T$
10	正定矩阵	Positive Definite	${\mathbf{x}}^{T}A\mathbf{x}>0,\forall \mathbf{x}\ne 0$
11	迹	Trace	$\text{tr}(A)={\sum }_i{A}_{ii}$
12	行列式	Determinant	$\det (A)$

---

一、向量空间与基

1.1 向量空间的定义

向量空间（或线性空间）$V$ 是定义在域 $\mathbb{F}$（通常为 $\mathbb{R}$ 或 $\mathbb{C}$）上的集合，配备两种运算：

• 向量加法：$\mathbf{u}+\mathbf{v}\in V$ 对所有 $\mathbf{u},\mathbf{v}\in V$
• 标量乘法：$c\mathbf{v}\in V$ 对所有 $c\in \mathbb{F}$，$\mathbf{v}\in V$

必须满足8条公理：结合律、交换律、零向量存在、加法逆元、标量乘法对向量加法的分配律、标量乘法对标量加法的分配律、标量乘法结合律、标量乘法单位元。

${\mathbb{R}}^n$ 是最常见的向量空间：所有 $n$ 维实向量的集合。

1.2 子空间、基与维数

子空间：向量空间 $V$ 的子集 $W$ 若对加法和标量乘法封闭，则称 $W$ 为 $V$ 的子空间。

张成空间：向量组 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_k\}$ 的张成空间定义为： $\text{span}\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_k\}=\{c_1{\mathbf{v}}_1+\cdots +c_k{\mathbf{v}}_k:c_i\in \mathbb{F}\}$

线性无关：若 $c_1{\mathbf{v}}_1+\cdots +c_k{\mathbf{v}}_k=0$ 蕴含所有 $c_i=0$，则向量组线性无关。

基：线性无关且张成整个空间的向量组。基中向量的个数称为维数 $\dim (V)$。

标准基：${\mathbb{R}}^n$ 的标准基为 ${\mathbf{e}}_1=(1,0,\dots ,0),{\mathbf{e}}_2=(0,1,\dots ,0),\dots ,{\mathbf{e}}_n=(0,0,\dots ,1)$。

基变换示例

向量 $\mathbf{x}=(3,1{)}^T$ 在标准基下的坐标即为 $(3,1{)}^T$。但在基 ${\mathbf{v}}_1=(1,1{)}^T,{\mathbf{v}}_2=(1,-1{)}^T$ 下，$\mathbf{x}=2{\mathbf{v}}_1+1{\mathbf{v}}_2$，坐标为 $(2,1{)}^T$。

1.3 内积空间

内积是向量空间上的双线性函数 $⟨\cdot ,\cdot ⟩:V\times V\to \mathbb{F}$，满足：

1. 共轭对称性：$⟨\mathbf{u},\mathbf{v}⟩=\overline{⟨\mathbf{v},\mathbf{u}⟩}$
2. 线性性：$⟨c\mathbf{u}+\mathbf{v},\mathbf{w}⟩=c⟨\mathbf{u},\mathbf{w}⟩+⟨\mathbf{v},\mathbf{w}⟩$
3. 正定性：$⟨\mathbf{v},\mathbf{v}⟩\ge 0$，且等号成立当且仅当 $\mathbf{v}=0$

在 ${\mathbb{R}}^n$ 中，标准内积为 $⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^T\mathbf{v}={\sum }_i{u}_i{v}_i$。

范数由内积导出：$\Vert \mathbf{v}\Vert =\sqrt{⟨\mathbf{v},\mathbf{v}⟩}$。

---

二、矩阵运算与分解

2.1 矩阵基本运算

设 $A\in {\mathbb{R}}^{m\times n}$，$B\in {\mathbb{R}}^{n\times p}$：

• 乘法：$(AB{)}_{ij}={\sum }_{k=1}^n{A}_{ik}{B}_{kj}$，结果为 $m\times p$ 矩阵
• 转置：$(A^T{)}_{ij}=A_{ji}$
• 逆：$A{A}^{-1}=A^{-1}A=I$（仅当 $A$ 可逆，即 $\det (A)\ne 0$）

行列式的性质：

• $\det (AB)=\det (A)\det (B)$
• $\det (A^T)=\det (A)$
• $A$ 可逆当且仅当 $\det (A)\ne 0$

迹：$\text{tr}(A)={\sum }_{i=1}^n{A}_{ii}$，满足循环性质 $\text{tr}(ABC)=\text{tr}(BCA)=\text{tr}(CAB)$。

2.2 LU分解

LU分解将矩阵分解为下三角矩阵 $L$ 和上三角矩阵 $U$ 的乘积：

$A=LU$

其中 $L$ 是单位下三角矩阵（对角线元素为1），$U$ 是上三角矩阵。

LU分解在求解线性方程组 $A\mathbf{x}=\mathbf{b}$ 时极为高效：

1. 前向替换：$L\mathbf{y}=\mathbf{b}$ 求解 $\mathbf{y}$
2. 后向替换：$U\mathbf{x}=\mathbf{y}$ 求解 $\mathbf{x}$

带行交换的LU分解（PA = LU）：为保证数值稳定性，实际计算中通常引入置换矩阵 $P$：

$PA=LU$

2.3 QR分解

QR分解将矩阵分解为正交矩阵 $Q$ 和上三角矩阵 $R$：

$A=QR$

其中 $Q\in {\mathbb{R}}^{m\times n}$ 满足 $Q^{T}Q=I$（列正交），$R\in {\mathbb{R}}^{n\times n}$ 为上三角。

QR分解的计算方法：

• Gram-Schmidt正交化
• Householder变换（数值更稳定）
• Givens旋转

2.4 奇异值分解（SVD）

奇异值分解是矩阵最重要的分解形式之一，适用于任意 $m\times n$ 矩阵：

$A=U\Sigma V^T$

其中：

• $U\in {\mathbb{R}}^{m\times m}$ 是正交矩阵（$A$ 的左奇异向量）
• $\Sigma \in {\mathbb{R}}^{m\times n}$ 是对角矩阵，对角线元素为奇异值 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$
• $V\in {\mathbb{R}}^{n\times n}$ 是正交矩阵（$A$ 的右奇异向量）
• $r=\text{rank}(A)$ 是矩阵的秩

几何意义：SVD将线性变换分解为旋转→缩放→旋转三个步骤。奇异值 ${\sigma }_i$ 表示在各正交方向上的伸缩因子。

SVD与特征值的关系

• $A{A}^T=U{\Sigma }^2{U}^T$，故 $A{A}^T$ 的特征值是 ${\sigma }_i^2$
• $A^{T}A=V{\Sigma }^2{V}^T$，故 $A^{T}A$ 的特征值也是 ${\sigma }_i^2$
• 若 $A$ 对称正定（$A=Q\Lambda Q^T$），则奇异值就是特征值的绝对值

2.5 谱分解（特征分解）

对于可对角化矩阵 $A\in {\mathbb{R}}^{n\times n}$（有 $n$ 个线性无关特征向量）：

$A=Q\Lambda Q^{-1}$

其中 $Q$ 的列是特征向量，$\Lambda =\text{diag}({\lambda }_1,\dots ,{\lambda }_n)$ 是对角特征值矩阵。

实对称矩阵的特殊情况（谱定理）： $A=Q\Lambda Q^T$

其中 $Q$ 是正交矩阵，特征值均为实数。

---

三、特征值与特征向量

3.1 定义与基本性质

特征值 $\lambda$ 和特征向量 $\mathbf{v}\ne 0$ 满足：

$A\mathbf{v}=\lambda \mathbf{v}$

特征方程（特征多项式）： $\det (A-\lambda I)=0$

特征值的基本性质：

• $\det (A)={\prod }_{i=1}^n{\lambda }_i$（特征值的乘积）
• $\text{tr}(A)={\sum }_{i=1}^n{\lambda }_i$（特征值的和）
• $\text{rank}(A)=\text{非零特征值的个数}$
• $\det (e^A)=e^{\text{tr}(A)}$

3.2 特征向量的几何意义

特征向量 $\mathbf{v}$ 满足：$A$ 在 $\mathbf{v}$ 方向上的作用只是简单的缩放，缩放因子为特征值 $\lambda$。

• 若 $\lambda >1$：向量被拉伸
• 若 $0<\lambda <1$：向量被压缩
• 若 $\lambda <0$：向量反向
• 若 $|\lambda |=1$：向量仅旋转（正交矩阵的情况）

幂迭代：给定矩阵 $A$，反复计算 $A^k\mathbf{v}$ 会收敛到主特征向量（对应最大特征值的特征向量）。

3.3 矩阵的迹与幂

Cayley-Hamilton定理：任意方阵满足其特征多项式： $p(\lambda )=\det (\lambda I-A)\Rightarrow p(A)=0$

这意味着 $A^n$ 可以表示为 $I,A,A^2,\dots ,A^{n-1}$ 的线性组合，这在某些矩阵计算中非常有用。

矩阵指数：$e^A={\sum }_{k=0}^{\infty }\frac{A^k}{k!}=I+A+\frac{A^2}{2!}+\cdots$

矩阵指数在微分方程 $d\mathbf{x}/dt=A\mathbf{x}$ 的求解中起关键作用：$\mathbf{x}(t)=e^{At}\mathbf{x}(0)$。

---

四、正交性与最小二乘

4.1 正交与正交矩阵

正交向量：$\mathbf{u},\mathbf{v}$ 正交当且仅当 $⟨\mathbf{u},\mathbf{v}⟩=0$。

正交矩阵：$Q\in {\mathbb{R}}^{n\times n}$ 满足 $Q^{T}Q=I$。

正交矩阵的性质：

• $Q^{-1}=Q^T$
• $\Vert Q\mathbf{x}\Vert =\Vert \mathbf{x}\Vert$（保范数）
• $(Q\mathbf{u}{)}^T(Q\mathbf{v})={\mathbf{u}}^T\mathbf{v}$（保内积）
• $\det (Q)=\pm 1$

4.2 正交投影

向量 $\mathbf{b}$ 到子空间 $C(A)$（$A$ 的列空间）的正交投影为：

$\hat{\mathbf{b}}=A(A^{T}A{)}^{-1}{A}^T\mathbf{b}$

投影矩阵：$P=A(A^{T}A{)}^{-1}{A}^T$，满足 $P^2=P$（幂等性）和 $P^T=P$（对称性）。

Gram-Schmidt正交化：将线性无关向量组 $\{{\mathbf{a}}_1,\dots ,{\mathbf{a}}_n\}$ 转化为正交向量组 $\{{\mathbf{q}}_1,\dots ,{\mathbf{q}}_n\}$：

${\mathbf{q}}_k={\mathbf{a}}_k-{\sum }_{j=1}^{k-1}\frac{{\mathbf{q}}_j^T{\mathbf{a}}_k}{{\mathbf{q}}_j^T{\mathbf{q}}_j}{\mathbf{q}}_j$

4.3 最小二乘法

最小二乘问题： ${\min }_{\mathbf{x}}\Vert A\mathbf{x}-\mathbf{b}{\Vert }^2$

解满足正规方程（Normal Equations）： $A^{T}A\mathbf{x}=A^T\mathbf{b}$

解为 $\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}$（当 $A^{T}A$ 可逆时）。

几何意义：$\hat{\mathbf{x}}$ 使得 $A\hat{\mathbf{x}}$ 是 $\mathbf{b}$ 在 $A$ 列空间上的正交投影。

数值稳定的求解方法

直接求解正规方程 $(A^{T}A{)}^{-1}{A}^T\mathbf{b}$ 数值不稳定（条件数平方）。推荐使用：

1. QR分解：$A=QR$，则 $\hat{\mathbf{x}}=R^{-1}{Q}^T\mathbf{b}$
2. SVD：$\hat{\mathbf{x}}=V{\Sigma }^{-1}{U}^T\mathbf{b}$（当 $A$ 病态时最稳定）

4.4 约束最小二乘

正则化最小二乘（岭回归）： ${\min }_{\mathbf{x}}\Vert A\mathbf{x}-\mathbf{b}{\Vert }^2+\lambda \Vert \mathbf{x}{\Vert }^2$

解为 $\hat{\mathbf{x}}=(A^{T}A+\lambda I{)}^{-1}{A}^T\mathbf{b}$。

正则化的作用：

• 当 $A^{T}A$ 病态时，$\lambda I$ 改善条件数
• 引入偏差换取方差减小（偏差-方差权衡）
• 当 $\lambda >0$ 时，解不会发散

---

五、矩阵微积分

5.1 矩阵导数的定义

标量对向量求导：$f:{\mathbb{R}}^n\to \mathbb{R}$

$\frac{\partial f}{\partial \mathbf{x}}=\left(\begin{array}{c}\frac{\partial f}{\partial x_1}\\ ⋮\\ \frac{\partial f}{\partial x_n}\end{array}\right)$

向量对向量求导（Jacobian）：$\mathbf{f}:{\mathbb{R}}^n\to {\mathbb{R}}^m$

$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}=\left(\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_1}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_1}{\partial x_n}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right)$

5.2 常用矩阵求导公式

函数	导数
${\mathbf{a}}^T\mathbf{x}$	$\mathbf{a}$
${\mathbf{x}}^{T}A\mathbf{x}$（$A$ 对称）	$2A\mathbf{x}$
${\mathbf{x}}^T\mathbf{x}$	$2\mathbf{x}$
$\	A\mathbf{x} - \mathbf{b}\
$\log \Vert \Sigma \Vert$（$\Sigma$ 对称正定）	$2{\Sigma }^{-1}$
$\text{tr}(AX)$	$A^T$

5.3 二阶导数与Hessian矩阵

Hessian矩阵：标量函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 的二阶导数：

$H=\frac{{\partial }^{2}f}{\partial \mathbf{x}\partial {\mathbf{x}}^T}=\left(\begin{array}{ccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right)$

Hessian矩阵的性质：

• 若 $f$ 二阶连续可微，Hessian是对称的
• 凸函数的Hessian是半正定的
• 临界点（梯度为零）处的Hessian决定了极值性质

---

六、线性代数在机器学习中的应用

6.1 主成分分析（PCA）

PCA通过SVD寻找数据方差最大的正交方向（主成分）。

设数据矩阵 $X\in {\mathbb{R}}^{n\times d}$（$n$ 个样本，$d$ 维特征），数据中心化为 ${\sum }_i{\mathbf{x}}_i=0$。

协方差矩阵：$C=\frac{1}{n-1}{X}^{T}X$。

PCA步骤：

1. 计算 $C$ 的特征值分解或 $X$ 的SVD：$X=U\Sigma V^T$
2. 选择前 $k$ 个最大特征值对应的特征向量
3. 投影数据到这 $k$ 维子空间

PCA的SVD视角

若 $X=U\Sigma V^T$，则 $X^{T}X=V{\Sigma }^2{V}^T$。因此 $V$ 的列（左奇异向量）正是 $X^{T}X$ 的特征向量，即PCA的主成分方向。奇异值 ${\sigma }_i$ 与特征值的关系为 ${\lambda }_i={\sigma }_i^2/(n-1)$。

6.2 线性回归与广义线性模型

线性回归：$y={\mathbf{w}}^T\mathbf{x}+ϵ$

最小二乘解：$\hat{\mathbf{w}}=(X^{T}X{)}^{-1}{X}^T\mathbf{y}$

Logistic回归：$P(y=1|\mathbf{x})=\sigma ({\mathbf{w}}^T\mathbf{x})=\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}$

通过梯度下降优化，参数更新： $\mathbf{w}\leftarrow \mathbf{w}-\eta \cdot \frac{\partial \mathcal{L}}{\partial \mathbf{w}}$

6.3 奇异值分解的降维应用

截断SVD：保留最大的 $k$ 个奇异值：

$A_k=U_k{\Sigma }_k{V}_k^T$

$A_k$ 是 $A$ 在Frobenius范数意义下的最优 $k$ 秩逼近（Eckart-Young定理）：

$\Vert A-A_k{\Vert }_F^2={\sum }_{i=k+1}^r{\sigma }_i^2$

这在推荐系统（如矩阵分解）和图像压缩中有重要应用。

6.4 神经网络中的线性代数

深度学习中的核心计算都是矩阵运算：

• 前向传播：$Z^{(l)}=W^{(l)}{A}^{(l-1)}+b^{(l)}$
• 反向传播：通过链式法则计算梯度，本质是雅可比矩阵的乘积
• 注意力机制：$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

GPU的并行计算能力正是源于其对大规模矩阵运算的高效支持。

---

七、特殊矩阵类与矩阵性质

7.1 对称矩阵与反对称矩阵

对称矩阵满足 $A^T=A$，在机器学习中极为常见，因为协方差矩阵就是对称的。

对称矩阵的性质：

• 所有特征值都是实数
• 特征向量可以选为正交的（谱定理）
• $A$ 正定当且仅当所有特征值大于零
• 对称矩阵的Cholesky分解：$A=L{L}^T$（$L$ 为下三角）

反对称矩阵满足 $A^T=-A$。实反对称矩阵的性质：

• 对角线元素全为零
• 特征值是纯虚数或零（成共轭对出现）
• $e^A$ 是正交矩阵（这与李代数密切相关）

反对称矩阵与旋转

三维空间中的旋转可以表示为 $R=e^K$，其中 $K$ 是反对称矩阵。这建立了矩阵指数与旋转群之间的联系，是机器人学和计算机图形学的理论基础。

7.2 正交矩阵与酉矩阵

正交矩阵 $Q\in {\mathbb{R}}^{n\times n}$ 满足 $Q^{T}Q=I$。

正交矩阵的几何意义：

• 列向量构成 ${\mathbb{R}}^n$ 的标准正交基
• 保持欧氏范数：$\Vert Q\mathbf{x}\Vert =\Vert \mathbf{x}\Vert$
• 保持内积：$(Q\mathbf{u}{)}^T(Q\mathbf{v})={\mathbf{u}}^T\mathbf{v}$
• 行列式 $\det (Q)=\pm 1$

酉矩阵 $U\in {\mathbb{C}}^{n\times n}$ 是复数域的正交矩阵，满足 $U^{\ast }U=I$（$U^{\ast }$ 是共轭转置）。

酉矩阵的性质：

• 保持复向量的范数
• 特征值的模为1（位于复平面的单位圆上）
• 在量子力学中，酉变换对应量子态的幺正演化

Householder矩阵是构造正交矩阵的基本工具： $H=I-2\frac{\mathbf{v}{\mathbf{v}}^T}{{\mathbf{v}}^T\mathbf{v}}$

Householder变换用于将向量归零，在QR分解和特征值计算中广泛应用。

Givens旋转是另一种正交变换，用于逐元素归零。

7.3 正规矩阵与谱定理

正规矩阵满足 $A^{T}A=A{A}^T$。

重要的矩阵类都是正规的：

• 实对称矩阵（$A^T=A$）
• 实反对称矩阵（$A^T=-A$）
• 正交矩阵（$A^{T}A=I$）
• 复Hermitian矩阵（$A^{\ast }=A$）
• 复酉矩阵（$A^{\ast }A=I$）

谱定理：正规矩阵 $A$ 可以酉对角化： $A=U\Lambda U^{\ast }$ 其中 $U$ 是酉矩阵，$\Lambda =\text{diag}({\lambda }_1,\dots ,{\lambda }_n)$。

实对称矩阵的谱分解

实对称矩阵 $A=Q\Lambda Q^T$，其中 $Q$ 的列是单位正交特征向量，$\Lambda$ 是实对角矩阵（特征值）。

这使得函数 $f(A)$ 可以自然定义： $f(A)=Q\cdot \text{diag}(f({\lambda }_1),\dots ,f({\lambda }_n))\cdot Q^T$

7.4 正定矩阵与半正定矩阵

正定矩阵 $A\in {\mathbb{R}}^{n\times n}$ 满足： ${\mathbf{x}}^{T}A\mathbf{x}>0,\forall \mathbf{x}\ne 0$

半正定矩阵满足 ${\mathbf{x}}^{T}A\mathbf{x}\ge 0$。

正定矩阵的等价条件：

1. 所有特征值大于零
2. 所有顺序主子式大于零（Sylvester准则）
3. 存在唯一的正定平方根 $A^{1/2}$
4. $A=B^{T}B$ 对某个可逆矩阵 $B$
5. $A$ 的Cholesky分解存在且唯一：$A=L{L}^T$

条件数与正定性密切相关： $\kappa (A)=\frac{{\lambda }_{\max }}{{\lambda }_{\min }}$

条件数越大，线性方程组求解越不稳定。病态矩阵（条件数极大）的数值求解需要正则化技术。

7.5 稀疏矩阵与带状矩阵

稀疏矩阵中大部分元素为零。在大规模科学计算和机器学习中，稀疏结构可以大幅节省存储和计算。

带状矩阵：非零元素集中在主对角线附近的带区域内。

• 带宽 $p$：满足 $A_{ij}=0$ 当 $|i-j|>p$
• 带状矩阵的LU分解保持带状结构
• 存储复杂度从 $O(n^2)$ 降低到 $O(np)$

三对角矩阵

在微分方程数值解和样条插值中，三对角矩阵频繁出现。通过Thomas算法（带状LU分解的特殊形式），求解复杂度从 $O(n^3)$ 降低到 $O(n)$。

---

八、矩阵范数与矩阵分析

8.1 向量范数的种类

向量范数 $\Vert \mathbf{x}\Vert$ 衡量向量的大小，必须满足：

1. 正定性：$\Vert \mathbf{x}\Vert \ge 0$，等号成立当且仅当 $\mathbf{x}=0$
2. 齐次性：$\Vert c\mathbf{x}\Vert =|c|\Vert \mathbf{x}\Vert$
3. 三角不等式：$\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$

常用向量范数：

• ${\ell }_1$ 范数（曼哈顿范数）：$\Vert \mathbf{x}{\Vert }_1={\sum }_i|x_i|$，对应Lasso回归中的稀疏诱导
• ${\ell }_2$ 范数（欧几里得范数）：$\Vert \mathbf{x}{\Vert }_2=\sqrt{{\sum }_i{x}_i^2}$，最常用的范数
• ${\ell }_{\infty }$ 范数（切比雪夫范数）：$\Vert \mathbf{x}{\Vert }_{\infty }={\max }_i|x_i|$
• ${\ell }_p$ 范数：$\Vert \mathbf{x}{\Vert }_p={\left({\sum }_i|x_i{|}^p\right)}^{1/p}$

8.2 矩阵范数

矩阵范数必须满足向量范数的三条公理加上次乘性：$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$。

诱导范数（算子范数）： $\Vert A{\Vert }_p={\sup }_{\mathbf{x}\ne 0}\frac{\Vert A\mathbf{x}{\Vert }_p}{\Vert \mathbf{x}{\Vert }_p}={\sup }_{\Vert \mathbf{x}{\Vert }_p=1}\Vert A\mathbf{x}{\Vert }_p$

• $\Vert A{\Vert }_1$ = 列绝对值和的最大值（列和范数）
• $\Vert A{\Vert }_2$ = 最大奇异值（谱范数）= ${\sigma }_{\max }(A)$
• $\Vert A{\Vert }_{\infty }$ = 行绝对值和的最大值（行和范数）

Frobenius范数： $\Vert A{\Vert }_F=\sqrt{{\sum }_{i,j}{a}_{ij}^2}=\sqrt{\text{tr}(A^{T}A)}$

Frobenius范数的性质：

• 不具有诱导性，但满足次乘性
• 等价于向量化后的 ${\ell }_2$ 范数
• 与SVD关系：$\Vert A{\Vert }_F^2={\sum }_{i=1}^r{\sigma }_i^2$

8.3 谱半径与矩阵幂

谱半径 $\rho (A)={\max }_i|{\lambda }_i|$ 是特征值模的最大值。

谱半径的重要性质：

• $\rho (A)\le \Vert A\Vert$（任何矩阵范数）
• 若 $A$ 对称，则 $\rho (A)=\Vert A{\Vert }_2$
• ${\lim }_{k\to \infty }{A}^k=0$ 当且仅当 $\rho (A)<1$

矩阵幂的行为：

• 若 $|{\lambda }_i|<1$ 对所有 $i$，则 $A^k\to 0$
• 若最大特征值的模大于1，则 $A^k$ 的范数发散
• 幂迭代法 ${\mathbf{v}}_{k+1}=A{\mathbf{v}}_k/\Vert A{\mathbf{v}}_k\Vert$ 收敛到主特征向量

8.4 矩阵扰动分析

设 $\tilde{A}=A+E$ 是对 $A$ 的扰动，相对扰动界分析如下。

条件数 $k(A)=\Vert A\Vert \Vert A^{-1}\Vert$ 度量解对扰动的敏感度： $\frac{\Vert \mathbf{x}-\tilde{\mathbf{x}}\Vert }{\Vert \mathbf{x}\Vert }\le k(A)\frac{\Vert \mathbf{b}-\tilde{\mathbf{b}}\Vert }{\Vert \mathbf{b}\Vert }$

对于线性方程组 $A\mathbf{x}=\mathbf{b}$，若 $A$ 病态（条件数大），小的扰动会导致解的巨大变化。

扰动下的特征值稳定性：

• 正规矩阵的特征值对扰动相对稳定
• 非正规矩阵的特征值可能剧烈变化（即使矩阵元素只有微小扰动）

非正规矩阵的病态问题

一个经典的例子是 Jordan 块： $J=\left(\begin{array}{cc}\lambda & 1\\ 0& \lambda \end{array}\right)$ 即使 $ϵ$ 极小，$J+ϵE$ 的特征值可能偏离 $\lambda$。这在数值分析中称为”特征值扰动病态”。

---

九、特征值计算的数值方法

9.1 幂迭代法与反幂迭代法

幂迭代法是最简单的特征值算法：

给定矩阵 A 和初始向量 b₀
重复：
    v = Abₖ
    bₖ₊₁ = v / ||v||
    λₖ = bₖᵀ A bₖ
直到收敛

收敛性分析：

• 若 $|{\lambda }_1|>|{\lambda }_2|\ge \cdots$，则 $b_k$ 收敛到主特征向量
• 收敛速度由 $|{\lambda }_2/{\lambda }_1|$ 决定
• 若特征值接近，需要加速技术（如Aitken外推）

反幂迭代法用于计算特定特征向量：

给定接近λ的估计μ
重复：
    解 (A - μI)z = bₖ
    bₖ₊₁ = z / ||z||
    λₖ = bₖᵀ A bₖ

反幂迭代法收敛极快（局部二次收敛），常用于已知近似特征值后的精化。

9.2 QR算法

QR算法是计算所有特征值的标准方法。

基本QR迭代：

A₀ = A
重复 k = 0, 1, 2, ...:
    Aₖ = Qₖ Rₖ  (QR分解)
    Aₖ₊₁ = Rₖ Qₖ

关键性质：

• $A_k$ 与 $A$ 正交相似：$A_k=Q_0{Q}_1\cdots Q_{k-1}A{Q}_{k-1}\cdots Q_1{Q}_0$
• 若 $A$ 对称，则 $A_k$ 保持对称且渐近趋向对角矩阵
• 收敛到Schur形式：$T=U^{\ast }AU$（上三角）

位移策略：引入位移 ${\mu }_k$ 加速收敛 $A_k-{\mu }_{k}I=Q_k{R}_k$ $A_{k+1}=R_k{Q}_k+{\mu }_{k}I$

9.3 对称特征值问题的特殊方法

对于对称矩阵，可以使用更高效的专用方法。

Jacobi方法：

• 通过一系列平面旋转逐步将非对角元素归零
• 收敛到对角矩阵
• 适合稠密小矩阵

二分法：

• 利用 Sturm 序列性质定位特征值
• 适合带状矩阵
• 计算单个特征值的效率高

分而治之算法（Divide and Conquer）：

• 将问题递归分解
• 适合并行计算
• 现代 LAPACK 的主要方法

9.4 Rayleigh商迭代

Rayleigh商迭代结合了幂迭代和特征值的Rayleigh商估计：

给定初始向量 q₀（||q₀|| = 1）
重复：
    μₖ = qₖᵀ A qₖ  (Rayleigh商)
    解 (A - μₖ I)qₖ₊₁ = qₖ
    qₖ₊₁ = qₖ₊₁ / ||qₖ₊₁||

收敛性质：

• 收敛速度是立方的（比普通幂迭代快得多）
• 若初始向量足够好，迭代几乎立即收敛
• 是计算对称矩阵主特征向量的最有效方法之一

---

十、奇异值分解的深入应用

10.1 低秩逼近与Eckart-Young定理

Eckart-Young定理（1936）给出了矩阵最优低秩逼近的精确刻画：

设 $A=U\Sigma V^T$ 是 $m\times n$ 矩阵的SVD，$\Sigma =\text{diag}({\sigma }_1,\dots ,{\sigma }_r)$。定义截断SVD： $A_k=U_k{\Sigma }_k{V}_k^T$ 其中 $U_k$、$V_k$ 保留前 $k$ 列，${\Sigma }_k$ 保留前 $k$ 个奇异值。

则 $A_k$ 是 $A$ 在Frobenius范数和谱范数意义下的最优 $k$ 秩逼近：

$\Vert A-A_k{\Vert }_F^2={\sum }_{i=k+1}^r{\sigma }_i^2={\min }_{\text{rank}(B)\le k}\Vert A-B{\Vert }_F^2$

$\Vert A-A_k{\Vert }_2={\sigma }_{k+1}={\min }_{\text{rank}(B)\le k}\Vert A-B{\Vert }_2$

图像压缩中的应用

一张 $512\times 512$ 灰度图像是 262,144 个像素。若保留前 $k$ 个奇异值：

• 存储量：从 $512^2$ 减少到 $k(512+512+1)\approx 1024k$
• 当 $k=50$ 时，压缩比约为 52:1
• 视觉质量通常在 $k>20$ 时保持良好

10.2 伪逆与最小范数解

Moore-Penrose伪逆 $A^{+}\in {\mathbb{R}}^{n\times m}$ 是逆矩阵在非方阵情形下的推广：

若 $A=U\Sigma V^T$ 是SVD，则： $A^{+}=V{\Sigma }^{+}{U}^T$ 其中 ${\Sigma }^{+}$ 将非零奇异值取倒数并转置。

伪逆的性质：

• $A{A}^{+}A=A$
• $A^{+}A{A}^{+}=A^{+}$
• $(A{A}^{+}{)}^T=A{A}^{+}$（幂等对称）
• $(A^{+}A{)}^T=A^{+}A$（幂等对称）

最小范数最小二乘解： $\hat{\mathbf{x}}=A^{+}\mathbf{b}$

这是所有最小二乘解中欧几里得范数最小的解。

10.3 主成分分析与因子分析

**主成分分析（PCA）**与SVD的关系：

设数据矩阵 $X\in {\mathbb{R}}^{n\times d}$（$n$ 个样本，$d$ 维特征），数据中心化。

PCA通过SVD实现：

1. 计算 $X$ 的SVD：$X=U\Sigma V^T$
2. 主成分是 $V$ 的列（右奇异向量）
3. 第 $i$ 个主成分的方差贡献为 ${\sigma }_i^2/(n-1)$
4. 投影后的数据为 $Z=U\Sigma =XV$

因子分析模型： $X=\mu +L{F}^T+ϵ$

其中：

• $L\in {\mathbb{R}}^{d\times k}$ 是因子载荷矩阵
• $F\in {\mathbb{R}}^{k\times n}$ 是公共因子
• $ϵ$ 是特异误差

因子分析与PCA的区别：

• PCA是描述性方法，FA是生成模型
• FA允许噪声在各维度不同
• FA的参数估计需要迭代（如EM算法）

10.4 矩阵补全与推荐系统

矩阵补全问题： $A\in {\mathbb{R}}^{m\times n}\text{ 已知部分元素，缺失部分需补全}$

在推荐系统中，$A$ 是用户-物品评分矩阵，大部分位置未知。

核范数最小化： $\min \Vert X{\Vert }_{\ast }\text{s.t.}{X}_{ij}=A_{ij},(i,j)\in \Omega$

其中 $\Vert X{\Vert }_{\ast }={\sum }_i{\sigma }_i(X)$ 是矩阵的核范数（奇异值之和）。

理论上，若缺失是随机的且矩阵满足低秩+不相干条件，可以精确恢复。

低秩矩阵恢复的样本复杂度

若 $n\times n$ 矩阵秩为 $r$，需要大约 $O(\mu rn\log n)$ 个观测值即可高概率精确恢复，其中 $\mu$ 是不相干参数。这为Netflix问题和矩阵填充提供了理论保证。

---

十一、核方法与特征空间

11.1 核函数的数学基础

核函数 $k(\mathbf{x},\mathbf{y})$ 是满足Mercer条件的对称函数： $k(\mathbf{x},\mathbf{y})=⟨\varphi (\mathbf{x}),\varphi (\mathbf{y})⟩$

其中 $\varphi :\mathcal{X}\to \mathcal{H}$ 是到**再生核希尔伯特空间（RKHS）**的特征映射。

Mercer定理：若 $k$ 是连续、对称且正定的核函数，则存在特征映射 ${\varphi }_i$ 和特征值 ${\lambda }_i\ge 0$ 使得： $k(\mathbf{x},\mathbf{y})={\sum }_i{\lambda }_i{\varphi }_i(\mathbf{x}){\varphi }_i(\mathbf{y})$

常用的核函数：

• 线性核：$k(\mathbf{x},\mathbf{y})={\mathbf{x}}^T\mathbf{y}$
• 多项式核：$k(\mathbf{x},\mathbf{y})=(\gamma {\mathbf{x}}^T\mathbf{y}+r{)}^d$
• 高斯核（RBF）：$k(\mathbf{x},\mathbf{y})=\exp (-\gamma \Vert \mathbf{x}-\mathbf{y}{\Vert }^2)$
• 拉普拉斯核：$k(\mathbf{x},\mathbf{y})=\exp (-\alpha \Vert \mathbf{x}-\mathbf{y}\Vert )$

11.2 核主成分分析（Kernel PCA）

核PCA通过特征映射 $\varphi$ 将数据映射到高维特征空间，然后执行PCA：

1. 计算核矩阵 $K_{ij}=k({\mathbf{x}}_i,{\mathbf{x}}_j)$
2. 中心化核矩阵：$\tilde{K}=K-1K/n-K1/n+1K1/n^2$
3. 对 $\tilde{K}$ 进行特征分解
4. 投影数据：$z_i={\sum }_{j=1}^n{\tilde{K}}_{ij}{\mathbf{v}}_j$

核PCA可以捕获数据中的非线性结构，是PCA的推广。

瑞士卷数据集

在二维平面上呈螺旋结构的数据，线性PCA只能提取全局主方向。核PCA（尤其是高斯核）可以展开瑞士卷，提取流形内在维度。

11.3 支撑向量机与核技巧

**支撑向量机（SVM）**的优化问题： ${\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\text{s.t.}{y}_i({\mathbf{w}}^T\varphi ({\mathbf{x}}_i)+b)\ge 1$

对偶问题： ${\max }_{\alpha }{\sum }_i{\alpha }_i-\frac{1}{2}{\sum }_{i,j}{\alpha }_i{\alpha }_j{y}_i{y}_{j}k({\mathbf{x}}_i,{\mathbf{x}}_j)$

核技巧的核心洞察：优化问题只涉及内积 $⟨\varphi ({\mathbf{x}}_i),\varphi ({\mathbf{x}}_j)⟩$，可以直接用核函数替换。

这使得SVM可以处理：

• 非线性分类边界
• 文本分类（高维稀疏特征）
• 图像分类（局部特征）

---

十二、张量基础

12.1 张量的定义与表示

张量是多维数组的泛化：

• 0阶张量 = 标量
• 1阶张量 = 向量
• 2阶张量 = 矩阵
• $p$ 阶张量 = $p$ 维数组

设 $\mathcal{X}\in {\mathbb{R}}^{n_1\times n_2\times \cdots \times n_p}$ 是 $p$ 阶张量。

纤维（Fiber）：张量固定其他维度后得到的一维切片。

切片（Slice）：张量固定一个维度后得到的二维矩阵。

12.2 张量分解

CP分解（CANDECOMP/PARAFAC）： $\mathcal{X}\approx {\sum }_{r=1}^R{\mathbf{a}}_r\circ {\mathbf{b}}_r\circ {\mathbf{c}}_r$

其中 ${\mathbf{a}}_r\circ {\mathbf{b}}_r\circ {\mathbf{c}}_r$ 是外积，$R$ 是分解的秩。

Tucker分解： $\mathcal{X}\approx \mathcal{G}{\times }_{1}A{\times }_{2}B{\times }_{3}C$

其中 $\mathcal{G}$ 是核心张量，$A,B,C$ 是因子矩阵。

张量秩与矩阵秩的不同：

• 张量秩定义为最小CP分解的项数
• 张量秩的计算是NP-hard问题
• 某些张量没有有限秩表示（亏秩问题）

12.3 张量在机器学习中的应用

高阶矩分析： $\mathbb{E}[x_{i_1}{x}_{i_2}\cdots x_{i_k}]$

张量可以自然表示高阶统计量。

神经网络中的张量：

• 权重矩阵是2阶张量
• 卷积层的卷积核是4阶张量（输出通道 × 输入通道 × 高度 × 宽度）
• 注意力机制的键、查询、值是3阶张量

张量回归： $Y=⟨\mathcal{W},X⟩+ϵ$

其中 $\mathcal{W}$ 是回归系数张量，$⟨\cdot ,\cdot ⟩$ 是内积。

---

十三、线性代数在深度学习中的前沿应用

13.1 Transformer架构的线性代数基础

自注意力机制： $\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

矩阵分解视角：

• $Q{K}^T$ 计算 $n\times d_k$ 与 $d_k\times n$ 的乘积（$O(n^2{d}_k)$）
• softmax对每行归一化
• 最后乘以 $V\in {\mathbb{R}}^{n\times d_v}$ 得到输出

Flash Attention通过分块计算和矩阵乘法的结合，将复杂度从 $O(n^2)$ 降低到 $O(n)$ 内存。

13.2 参数效率与低秩适配

LoRA（Low-Rank Adaptation）： $\Delta W=AB,A\in {\mathbb{R}}^{d\times r},B\in {\mathbb{R}}^{r\times k}$

通过低秩分解 $r\ll \min (d,k)$ 大幅减少可训练参数数量，同时保持模型性能。

理论基础：

• 预训练模型的权重变化 $\Delta W$ 通常具有低秩结构
• 内在维度假说：任务相关的参数更新只占据少数主方向

13.3 谱范数与权重归一化

权重归一化： $\mathbf{y}=g\cdot \frac{W\mathbf{x}}{\Vert W\mathbf{x}\Vert }$

通过将权重向量分离为方向和模长，加速梯度下降收敛。

谱归一化： $\Vert W{\Vert }_{spec}={\sigma }_{\max }(W)$

通过约束判别器权重的谱范数，稳定GAN训练（Wasserstein距离的理论保证）。

---

十四、线性代数与其他数学领域的联系

14.1 线性代数与图论

图的邻接矩阵 $A\in {\mathbb{R}}^{n\times n}$： $A_{ij}=\{\begin{array}{ll}1& \text{若边 }(i,j)\text{ 存在}\\ 0& \text{否则}\end{array}$

拉普拉斯矩阵 $L=D-A$（$D$ 是度矩阵）：

• $L$ 是半正定的，特征值 ${\lambda }_1=0$ 对应常数特征向量
• 谱聚类基于 $L$ 的小特征值进行社区检测
• Cheeger不等式连接图的连通性和谱性质

图神经网络的消息传递： $h_v^{(k+1)}=\sigma \left(W^{(k)}{\sum }_{u\in \mathcal{N}(v)}\frac{h_u^{(k)}}{|\mathcal{N}(v)|}\right)$

矩阵形式：$H^{(k+1)}=\sigma (D^{-1}A{H}^{(k)}{W}^{(k)})$

14.2 线性代数与数值分析

迭代法的矩阵视角： $A\mathbf{x}=\mathbf{b}\Rightarrow {\mathbf{x}}^{(k+1)}=M^{-1}(N{\mathbf{x}}^{(k)}+\mathbf{b})$

• Jacobi迭代：$M=D$（对角部分）
• Gauss-Seidel迭代：$M=D+L$（下三角部分）
• SOR迭代：$M=\frac{1}{\omega }(D-\omega L)$

收敛性由谱半径 $\rho (M^{-1}N)$ 决定。

14.3 线性代数与最优化

共轭梯度法： ${\mathbf{p}}_{k+1}=-\nabla f({\mathbf{x}}_{k+1})+{\beta }_k{\mathbf{p}}_k$

对于正定系统 $A\mathbf{x}=\mathbf{b}$，共轭梯度法在 $n$ 步内收敛到精确解。

KKT条件与矩阵结构： $\left(\begin{array}{cc}A& B^T\\ B& 0\end{array}\right)\left(\begin{array}{c}\mathbf{x}\\ \mathbf{\lambda }\end{array}\right)=\left(\begin{array}{c}\mathbf{b}\\ \mathbf{c}\end{array}\right)$

约束优化问题的KKT系统具有鞍点结构。

14.4 线性代数与量子计算

量子态的向量表示： $|\psi ⟩=\left(\begin{array}{c}{\alpha }_0\\ {\alpha }_1\end{array}\right),|{\alpha }_0{|}^2+|{\alpha }_1{|}^2=1$

量子门是酉矩阵：

• Hadamard门：$H=\frac{1}{\sqrt{2}}\left(\begin{array}{cc}1& 1\\ 1& -1\end{array}\right)$
• Pauli门：$X=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$，$Z=\left(\begin{array}{cc}1& 0\\ 0& -1\end{array}\right)$
• CNOT门：控制-非门，是重要的两比特门

量子计算的线性代数本质使得经典计算机可以模拟量子系统（虽然可能指数级慢）。

---

十五、现代线性代数软件与计算实践

15.1 BLAS与LAPACK层级

BLAS（Basic Linear Algebra Subprograms）提供底层矩阵运算：

• Level 1：向量-向量操作（$O(n)$）
• Level 2：矩阵-向量操作（$O(n^2)$）
• Level 3：矩阵-矩阵操作（$O(n^3)$）

LAPACK（Linear Algebra PACKage）建立在BLAS之上，提供：

• 线性方程组求解
• 特征值与奇异值分解
• 线性最小二乘问题
• 矩阵分解（LU、QR、Cholesky、SVD等）

15.2 GPU加速与cuBLAS

cuBLAS是NVIDIA的GPU加速BLAS实现：

• 利用GPU的数千个核心进行并行计算
• 矩阵-矩阵乘法（GEMM）可达数百TFLOPS
• 深度学习框架（如PyTorch、TensorFlow）底层依赖cuBLAS

混合精度计算：

• 使用FP16矩阵乘法 + FP32累加
• 张量核（Tensor Core）支持矩阵-矩阵-矩阵乘法（HMMA）
• 显著加速同时保持数值精度

15.3 稀疏矩阵计算库

SuiteSparse：

• 提供稀疏LU、QR、Cholesky分解
• 支持多种稀疏矩阵格式（CSR、CSC、COO）

Eigen：

• header-only的C++模板库
• 自动向量化与并行化
• 广泛用于机器人学和计算机视觉

SciPy稀疏模块：

• Python生态系统中的稀疏矩阵工具
• 提供迭代求解器和稀疏分解

15.4 分布式线性代数

ScaLAPACK：

• 面向分布式内存系统的LAPACK
• 矩阵块划分到不同处理器
• 适合超大规模问题

SLATE（Software for Linear Algebra Targeting Exascale）：

• 下一代分布式线性代数库
• 针对百亿亿次计算设计
• 支持异构计算架构

---

十六、流形上的线性代数

16.1 Grassmann流形

Grassmann流形 $\text{Gr}(k,n)$ 是 ${\mathbb{R}}^n$ 中所有 $k$ 维线性子空间构成的流形。

几何解释：

• $\text{Gr}(1,n)=\mathbb{R}{P}^{n-1}$（射影空间）
• $\text{Gr}(n-1,n)=\mathbb{R}{P}^{n-1}$（正交补）
• $\text{Gr}(k,n)$ 的维度为 $k(n-k)$

参数化：

通过基矩阵 $X\in {\mathbb{R}}^{n\times k}$（列线性无关），等价类： $X\sim XQ,Q\in GL(k)$

使用正交基 $Q^{T}Q=I$ 消除歧义： $\text{Gr}(k,n)=\{X\in {\mathbb{R}}^{n\times k}:X^{T}X=I\}/O(k)$

在机器学习中的应用：

• 子空间聚类
• 动作识别
• 字典学习

16.2 Stiefel流形

Stiefel流形 $\text{St}(k,n)$ 是 ${\mathbb{R}}^n$ 中所有正交 $k$-标架的集合： $\text{St}(k,n)=\{X\in {\mathbb{R}}^{n\times k}:X^{T}X=I_k\}$

维度：$nk-k(k+1)/2$

与Grassmann流形的关系： $\text{St}(k,n)\to \text{Gr}(k,n),X\mapsto \text{col}(X)$

这使得Stiefel流形是Grassmann流形的纤维丛。

优化上的应用：

约束优化问题 ${\min }_{X\in \text{St}(k,n)}f(X)$。

黎曼梯度下降： $X_{t+1}=X_t-{\eta }_t\text{Retract}(\nabla f(X_t))$

其中 retraction 将切向量映射回流形。

16.3 对称正定矩阵流形

对称正定矩阵流形 ${\mathcal{S}}_{++}^n$： ${\mathcal{S}}_{++}^n=\{S\in {\mathbb{R}}^{n\times n}:S=S^T,S\succ 0\}$

黎曼度量（仿射不变度量）： $g_X(\xi ,\eta )=\text{tr}(X^{-1}\xi X^{-1}\eta )$

黎曼梯度： $\text{grad}f(X)=X\left(\frac{\partial f}{\partial X}\right)X$

测地线： $\gamma (t)=X^{1/2}\exp (t{X}^{-1/2}V{X}^{-1/2})X^{1/2}$

其中 $V$ 是切向量。

应用：

• 协方差矩阵插值（几何平均）
• 扩散张量成像（DTI）
• 雷达信号处理

16.4 流形优化算法

信赖域方法（Riemannian Trust Region）：

$m_k(S)=f(X_k)+⟨\text{grad}f(X_k),S⟩+\frac{1}{2}⟨H_k(S),S⟩$

约束 $S$ 在切空间，$\Vert S\Vert \le {\Delta }_k$。

共轭梯度法在流形上： $S_{k+1}=-\text{grad}f(X_{k+1})+{\beta }_{k}T(S_k,X_{k+1})$

其中 $T$ 是向量传输。

Barzilai-Borwein梯度下降：

两步版本： $d_k=-\text{grad}f(X_k)$ ${\alpha }_k=\frac{⟨s_{k-1},s_{k-1}⟩}{⟨s_{k-1},y_{k-1}⟩}$ $X_{k+1}=X_k+{\alpha }_k{d}_k$

---

十七、矩阵方程与 Sylvester 方程

17.1 Sylvester 方程

Sylvester方程： $AX+XB=C$

其中 $A\in {\mathbb{R}}^{m\times m}$，$B\in {\mathbb{R}}^{n\times n}$，$C\in {\mathbb{R}}^{m\times n}$，$X\in {\mathbb{R}}^{m\times n}$ 是未知矩阵。

可解性条件：若 $A$ 和 $-B$ 没有公共特征值，方程有唯一解。

Kronecker积形式： $(I_n\otimes A+B^T\otimes I_m)\text{vec}(X)=\text{vec}(C)$

其中 $\otimes$ 是Kronecker积，$\text{vec}$ 是向量化算子。

17.2 Lyapunov 方程

连续时间 Lyapunov方程： $AX+X{A}^T+Q=0$

离散时间 Lyapunov方程： $X-AX{A}^T=Q$

在控制系统和信号处理中极为重要。

Bartels-Stewart算法：

1. 计算 $A$ 和 $A^T$ 的Schur分解
2. 将Lyapunov方程转化为三角形式
3. 使用后向替换求解

复杂度 $O(n^3)$。

17.3 Riccati方程

代数Riccati方程： $A^{T}X+XA-XB{R}^{-1}{B}^{T}X+Q=0$

连续时间版本。

代数Riccati方程： $X=AX{A}^T+Q-AX{C}^T(R+CX{C}^T{)}^{-1}CX{A}^T$

离散时间版本。

解的性质：

Riccati方程的解 $X$ 是对称矩阵。若 $(A,B)$ 可稳且 $(C,A)$ 可检，则存在唯一镇定解（半正定）。

在最优控制中的应用：

最优状态反馈：$K=R^{-1}{B}^{T}X$ 最优代价：$J=x_0^{T}X{x}_0$

17.4 张量方程初步

张量方程是矩阵方程的高阶推广。

CP分解形式的张量： $\mathcal{X}={\sum }_{r=1}^R{\mathbf{a}}_r\circ {\mathbf{b}}_r\circ {\mathbf{c}}_r$

Tucker分解： $\mathcal{X}=\mathcal{G}{\times }_{1}A{\times }_{2}B{\times }_{3}C$

交替最小二乘（ALS）： 固定其他因子，交替优化每个因子。

---

十八、随机矩阵进阶理论

18.1 Wigner矩阵的深度性质

Wigner矩阵 $W_n$ 是对称随机矩阵： $W_n=\frac{1}{\sqrt{n}}{M}_n$

其中 $M_n$ 的上三角元素独立同分布，均值为0，方差为1。

全局谱行为：

半圆定律的精确形式： $\frac{1}{n}{\sum }_{i=1}^n{\delta }_{{\lambda }_i}(x)\stackrel{d}{\to }\frac{1}{2\pi }\sqrt{4-x^2}{1}_{|x|\le 2}(x)$

局部 semicircle 定律：

在微观尺度下，需要去除平均到个体特征值。

去聚类（Delocalization）： $\Vert {\mathbf{v}}_i{\Vert }_{\infty }\le C\frac{\log n}{\sqrt{n}}\text{with high probability}$

所有特征向量近似均匀分布。

18.2 Marchenko-Pastur 定律详解

样本协方差矩阵： $S_n=\frac{1}{n}X{X}^T,X\in {\mathbb{R}}^{p\times n}$

当 $p,n\to \infty$，$p/n\to \gamma$。

Marchenko-Pastur分布：

若总体协方差 $\Sigma =I$： ${\rho }_{\gamma }(x)=\frac{1}{2\pi x\gamma }\sqrt{(b-x)(x-a)}+{\left(1-\frac{1}{\gamma }\right)}^{+}{\delta }_0$

其中： $a=(1-\sqrt{\gamma }{)}^2,b=(1+\sqrt{\gamma }{)}^2$

尖峰模型：

当总体协方差有少数特征值大于1时，对应MP谱中出现离群特征值。

金融协方差矩阵的应用

实际市场协方差矩阵的特征值分布：

• 大多数特征值遵循MP定律
• 少数”信号”特征值在支持外部
• 尖峰对应市场的共同运动模式

18.3 随机矩阵的极值理论

最大特征值的极限： ${\lambda }_{\max }(W_n)\stackrel{a.s.}{\to }2$

** Tracy-Widom 分布**：

标准化最大特征值： $\frac{{\lambda }_{\max }(W_n)-2}{n^{-2/3}}\stackrel{d}{\to }T{W}_1$

$T{W}_1$ 是Tracy-Widom分布（精确形式复杂）。

应用：

• 假设检验：是否存在信号
• 阈值选择：PCA主成分个数
• 高维统计推断

18.4 Free概率论

自由概率论是经典概率论在矩阵/算子代数中的推广。

自由加法：

• 经典：独立随机变量 $X,Y$ 的和
• 自由：独立随机矩阵 $A,B$ 的和

R-变换（类似于累积量生成函数）： ${\kappa }_n(A+B)={\kappa }_n(A)+{\kappa }_n(B)$

S-变换（用于乘法）： $S_{AB}(z)=S_A(z)S_B(z)$

在随机矩阵中的应用：

若 $A_n,B_n$ 是Wigner矩阵且独立，则 $A_n+B_n$ 的谱分布是自由卷积。

---

十九、约束优化与KKT理论

19.1 约束优化的分类

约束优化问题： ${\min }_{\mathbf{x}\in {\mathbb{R}}^n}f(\mathbf{x})\text{s.t.}\{\begin{array}{ll}{h}_i(\mathbf{x})=0,& i=1,\dots ,m\\ g_j(\mathbf{x})\le 0,& j=1,\dots ,p\end{array}$

可行域： $\mathcal{F}=\{\mathbf{x}:h_i(\mathbf{x})=0,g_j(\mathbf{x})\le 0\}$

约束 qualifications：

• 线性约束 qualifications（LICQ）
• 广义LICQ
• Mangasarian-Fromovitz qualifications（MFCQ）

19.2 KKT条件

KKT条件是一阶最优性的必要条件（适当正则条件下也是充分条件）：

存在拉格朗日乘子 ${\lambda }_i$（等式）和 ${\mu }_j\ge 0$（不等式）使得： $\nabla f({\mathbf{x}}^{\ast })+{\sum }_{i=1}^m{\lambda }_i\nabla h_i({\mathbf{x}}^{\ast })+{\sum }_{j=1}^p{\mu }_j\nabla g_j({\mathbf{x}}^{\ast })=0$ $h_i({\mathbf{x}}^{\ast })=0,i=1,\dots ,m$ $g_j({\mathbf{x}}^{\ast })\le 0,j=1,\dots ,p$ ${\mu }_j{g}_j({\mathbf{x}}^{\ast })=0,j=1,\dots ,p$

互补松弛条件 ${\mu }_j{g}_j({\mathbf{x}}^{\ast })=0$ 表明：

• 若 $g_j({\mathbf{x}}^{\ast })<0$（严格不等式），则 ${\mu }_j=0$（非活跃约束）
• 若 $g_j({\mathbf{x}}^{\ast })=0$（活跃约束），则 ${\mu }_j\ge 0$

19.3 对偶理论

拉格朗日对偶函数： $L(\mathbf{x},\lambda ,\mu )=f(\mathbf{x})+{\sum }_i{\lambda }_i{h}_i(\mathbf{x})+{\sum }_j{\mu }_j{g}_j(\mathbf{x})$

对偶问题： ${\max }_{\lambda ,\mu \ge 0}{\inf }_{\mathbf{x}}L(\mathbf{x},\lambda ,\mu )$

弱对偶性： $d^{\ast }\le p^{\ast }$

强对偶性：若满足约束 qualifications，$d^{\ast }=p^{\ast }$。

Slater条件：存在严格可行点时，强对偶成立。

19.4 内点法

内点法是求解约束优化的重要方法。

障碍函数法： $\min f(\mathbf{x})\text{s.t.}{g}_j(\mathbf{x})<0$

通过障碍函数近似： $\min f(\mathbf{x})+t{\sum }_j-\log (-g_j(\mathbf{x}))$

当 $t\to 0$ 时，解趋近原问题的解。

路径追踪算法：

• 追踪中心路径 $\mathbf{x}(t)$
• 使用牛顿法求解障碍问题
• 复杂度 $O(n^{3}L)$（$L$ 是位数）

---

二十、矩阵完成与低秩恢复

20.1 矩阵补全问题

矩阵补全（Matrix Completion）： 已知矩阵 $M$ 的部分元素，恢复缺失元素。

$\min \text{rank}(X)\text{s.t.}{X}_{ij}=M_{ij},(i,j)\in \Omega$

NP-hard问题：秩最小化是组合优化。

20.2 核范数松弛

核范数松弛： $\min \Vert X{\Vert }_{\ast }\text{s.t.}{X}_{ij}=M_{ij},(i,j)\in \Omega$

其中 $\Vert X{\Vert }_{\ast }={\sum }_i{\sigma }_i(X)$ 是奇异值之和。

恢复条件：

若：

1. 矩阵 $M$ 秩为 $r$
2. 采样是均匀随机的
3. 样本复杂度 $m\ge C{\mu }^{2}rn\log n$

则高概率精确恢复。

20.3 不一致条件

不相干条件（Incoherence）： ${\max }_i\frac{|U_{ij}|}{\Vert U_{i\cdot }{\Vert }_F}\le \sqrt{\frac{\mu }{d}}$

确保矩阵不在任何坐标方向上稀疏。

20.4 交替方向法

ADMM（Alternating Direction Method of Multipliers）：

$L_{\rho }(X,Z,Y)=\Vert Z{\Vert }_{\ast }+\frac{\rho }{2}\Vert X-Z+Y/\rho {\Vert }_F^2$

交替更新： $X^{k+1}=\arg {\min }_X{L}_{\rho }(X,Z^k,Y^k)$ $Z^{k+1}=S_{1/\rho }(X^{k+1}+Y^k/\rho )$ $Y^{k+1}=Y^k+\rho (X^{k+1}-Z^{k+1})$

其中 $S_{\tau }$ 是奇异值软阈值算子。

---

二十一、矩阵扰动理论与敏感性分析

21.1 特征值的扰动理论

Bauer-Fike定理：

若 $A$ 可对角化，$A\in {\mathbb{C}}^{n\times n}$，$E$ 是扰动矩阵： $|{\lambda }_i(A+E)-{\lambda }_i(A)|\le \Vert V^{-1}EV{\Vert }_p$

其中 $V$ 是特征向量矩阵，$p$ 是矩阵范数。

Gershgorin圆盘定理：

每个特征值位于至少一个Gershgorin圆盘中： $D_i=\{z:|z-a_{ii}|\le {\sum }_{j\ne i}|a_{ij}|\}$

扰动界限的精细化：

Weyl定理给出了特征值扰动的精确界限： ${\sum }_{i=1}^n|{\lambda }_i(A+E)-{\lambda }_i(A){|}^2\le \Vert E{\Vert }_F^2$

21.2 矩阵函数与条件数

矩阵函数 $f(A)$ 通过特征值定义为： $f(A)=V\text{diag}(f({\lambda }_i))V^{-1}$

矩阵条件数： $\kappa (A)=\Vert A\Vert \cdot \Vert A^{-1}\Vert$

对于线性方程组求解： $\frac{\Vert \delta x\Vert }{\Vert x\Vert }\le \kappa (A)\frac{\Vert \delta b\Vert }{\Vert b\Vert }$

21.3 敏感性分析

范数灵敏性： $\Vert A+ϵE\Vert =\Vert A\Vert +ϵ\Vert E\Vert +o(ϵ)$

逆运算敏感性： $\Vert (A+ϵE{)}^{-1}-A^{-1}\Vert \approx ϵ\Vert A^{-1}\Vert \Vert E\Vert \Vert A^{-1}\Vert$

21.4 结构化扰动

对称扰动：保持对称性的扰动

非对称扰动：可能改变特征值结构

秩-1扰动： $A+u{v}^T$

在低秩更新和一阶近似中有重要应用。

---

二十二、特殊矩阵类与不等式

22.1 Hadamard积与 Khatri-Rao积

Hadamard积（元素wise乘积）： $(A\circ B{)}_{ij}=A_{ij}{B}_{ij}$

Hadamard积的不等式：

• Schur乘积定理：若 $A,B$ 半正定，则 $A\circ B$ 半正定
• Oppenheim不等式：$\det (A\circ B)\ge \det (A)\det (B)$

Khatri-Rao积（列wise Hadamard）： $A\odot B=[a_1\otimes b_1,a_2\otimes b_2,\dots ]$

22.2 矩阵不等式

Poincaré分离定理： ${\lambda }_i\left(\frac{1}{k}{\sum }_{j=1}^k{X}_j{X}_j^T\right)\le \frac{1}{k}{\sum }_{j=1}^k{\lambda }_i(X_j{X}_j^T)$

Fischer不等式： $\det \left(\begin{array}{cc}A& B\\ B^T& D\end{array}\right)\le \det (A)\det (D)$

当分块矩阵对称正定时。

22.3 范数不等式

Holder不等式： $\Vert AB{\Vert }_1\le \Vert A{\Vert }_p\Vert B{\Vert }_q,\frac{1}{p}+\frac{1}{q}=1$

Schatten范数： $\Vert A{\Vert }_{S_p}={\left({\sum }_i{\sigma }_i^p\right)}^{1/p}$

• $p=1$：核范数（trace norm）
• $p=2$：Frobenius范数
• $p=\infty$：谱范数

22.4 矩阵单调性与凸性

Lowner-John定理：

唯一体积最小的椭球包含给定的凸体。

矩阵凸函数： $f\left(\frac{A+B}{2}\right)\le \frac{f(A)+f(B)}{2}$

当 $f$ 是矩阵凸函数时。

---

二十三、图与网络的矩阵表示

23.1 图的矩阵表示

邻接矩阵 $A$： $A_{ij}=\{\begin{array}{ll}1& \text{若 }(i,j)\in E\\ 0& \text{否则}\end{array}$

拉普拉斯矩阵 $L=D-A$：

• $D$：度矩阵（对角矩阵，$D_{ii}=\mathrm{deg}(i)$）
• $L$ 半正定
• $L$ 的特征值 $0={\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$

符号拉普拉斯矩阵： $L_s=D-A_s$

用于符号图（边有正负权）。

23.2 谱图理论

连通性与谱：

图的连通分量数等于 $L$ 中零特征值的重数。

Cheeger不等式： $\frac{h(G)}{2}\le {\lambda }_2\le 2h(G)$

其中 $h(G)$ 是图的 Cheeger 常数。

23.3 网络分析中的矩阵

PageRank： $\pi =(1-\alpha )(I-\alpha P^T{)}^{-1}1$

社区检测： $L_{norm}=I-D^{-1/2}A{D}^{-1/2}$

使用谱聚类检测社区。

23.4 图神经网络中的矩阵操作

消息传递： $h_v^{(k+1)}=\sigma \left(W^{(k)}{\sum }_{u\in \mathcal{N}(v)}\frac{h_u^{(k)}}{|\mathcal{N}(v)|}\right)$

图卷积： $H^{(l+1)}=\sigma (D^{-1/2}A{D}^{-1/2}{H}^{(l)}{W}^{(l)})$

---

二十四、量子计算中的线性代数

24.1 量子态的表示

量子比特（Qubit）： $|\psi ⟩=\alpha |0⟩+\beta |1⟩=\left(\begin{array}{c}\alpha \\ \beta \end{array}\right)$

其中 $|\alpha {|}^2+|\beta {|}^2=1$。

多比特系统： $|\psi ⟩={\sum }_{x\in \{0,1{\}}^n}{\alpha }_x|x⟩$

向量维度 $2^n$。

24.2 量子门（酉矩阵）

单比特门：

• Hadamard：$H=\frac{1}{\sqrt{2}}\left(\begin{array}{cc}1& 1\\ 1& -1\end{array}\right)$
• Pauli门：$X,Y,Z$
• 相位门：$S=\left(\begin{array}{cc}1& 0\\ 0& i\end{array}\right)$
• $T$ 门

多比特门：

• CNOT（控制-非门）
• Toffoli门（CCNOT）
• SWAP门

24.3 量子测量

投影测量： $P_m=|m⟩⟨m|$ $P(m)=⟨\psi |P_m|\psi ⟩$

POVM测量： $E_m=M_m^{†}{M}_m,{\sum }_m{E}_m=I$

24.4 量子算法中的线性代数

Grover算法：

• 振幅放大
• $O(\sqrt{N})$ 加速

HHL算法（解线性方程组）： $|x⟩={\sum }_i\frac{b_i}{{\lambda }_i}|u_i⟩$ $O(\log N)\text{ 多项式深度}$

---

参考文献

1. Strang, G. (2009). Introduction to Linear Algebra (4th ed.). Wellesley-Cambridge Press.
2. Golub, G. H., & Van Loan, C. F. (2013). Matrix Computations (4th ed.). Johns Hopkins University Press.
3. Horn, R. A., & Johnson, C. R. (2012). Matrix Analysis (2nd ed.). Cambridge University Press.
4. Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark.
5. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
6. Demmel, J. W. (1997). Applied Numerical Linear Algebra. SIAM.
7. Saad, Y. (2003). Iterative Methods for Sparse Linear Systems (2nd ed.). SIAM.
8. Trefethen, L. N., & Bau III, D. (1997). Numerical Linear Algebra. SIAM.
9. Higham, N. J. (2002). Accuracy and Stability of Numerical Algorithms (2nd ed.). SIAM.
10. Schölkopf, B., & Smola, A. J. (2002). Learning with Kernels. MIT Press.
11. Absil, P.-A., Mahony, R., & Sepulchre, R. (2009). Optimization Algorithms on Matrix Manifolds. Princeton University Press.
12. Edelman, A., Arias, T. A., & Smith, S. T. (1998). The geometry of algorithms with orthogonality constraints. SIAM J. Matrix Anal. Appl., 20(2), 303-353.
13. Bai, Z., & Silverstein, J. W. (2010). Spectral Analysis of Large Dimensional Random Matrices (2nd ed.). Springer.
14. Recht, B., Fazel, M., & Parrilo, P. A. (2010). Guaranteed minimum-rank solutions of linear matrix equations via nuclear norm minimization. SIAM Review, 52(3), 471-501.
15. Boyd, S., & Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press.
16. Bhatia, R. (1997). Matrix Analysis. Springer.
17. Stewart, G. W., & Sun, J. G. (1990). Matrix Perturbation Theory. Academic Press.
18. Chung, F. R. K. (1997). Spectral Graph Theory. American Mathematical Society.
19. Nielsen, M. A., & Chuang, I. L. (2010). Quantum Computation and Quantum Information (10th ed.). Cambridge University Press.
20. Meyer, C. D. (2000). Matrix Analysis and Applied Linear Algebra. SIAM.

---

相关文档

• 凸优化深度指南 - 矩阵优化问题的求解方法
• 概率论深度指南 - 多元正态分布与协方差矩阵
• 统计学深度指南 - PCA与因子分析的统计基础
• 信息论深度指南 - 熵与矩阵分析的交叉
• 图神经网络 - 图谱理论与拉普拉斯矩阵