线性代数深度指南

文档概述

线性代数是现代数学与机器学习的基石。本指南从向量空间出发，系统涵盖矩阵运算与分解、特征值理论、最小二乘法以及矩阵微积分等核心内容，并深入探讨其在机器学习中的广泛应用。

关键词

序号	关键词	英文	核心概念
1	向量空间	Vector Space	$({\mathbb{R}}^n,+,\cdot )$
2	基	Basis	$\text{span}\{v_1,\dots ,v_n\}=V$
3	矩阵分解	Matrix Decomposition	$A=U\Sigma V^T$
4	特征值	Eigenvalue	$A\mathbf{v}=\lambda \mathbf{v}$
5	特征向量	Eigenvector	满足 $A\mathbf{v}=\lambda \mathbf{v}$ 的非零向量
6	正交性	Orthogonality	$⟨\mathbf{u},\mathbf{v}⟩=0$
7	最小二乘	Least Squares	$\min \Vert A\mathbf{x}-\mathbf{b}{\Vert }^2$
8	矩阵微积分	Matrix Calculus	$\frac{\partial f(X)}{\partial X}$
9	SVD	Singular Value Decomposition	$A=U\Sigma V^T$
10	正定矩阵	Positive Definite	${\mathbf{x}}^{T}A\mathbf{x}>0,\forall \mathbf{x}\ne 0$
11	迹	Trace	$\text{tr}(A)={\sum }_i{A}_{ii}$
12	行列式	Determinant	$\det (A)$

---

一、向量空间与基

1.1 向量空间的定义

向量空间（或线性空间）$V$ 是定义在域 $\mathbb{F}$（通常为 $\mathbb{R}$ 或 $\mathbb{C}$）上的集合，配备两种运算：

• 向量加法：$\mathbf{u}+\mathbf{v}\in V$ 对所有 $\mathbf{u},\mathbf{v}\in V$
• 标量乘法：$c\mathbf{v}\in V$ 对所有 $c\in \mathbb{F}$，$\mathbf{v}\in V$

必须满足8条公理：结合律、交换律、零向量存在、加法逆元、标量乘法对向量加法的分配律、标量乘法对标量加法的分配律、标量乘法结合律、标量乘法单位元。

${\mathbb{R}}^n$ 是最常见的向量空间：所有 $n$ 维实向量的集合。

1.2 子空间、基与维数

子空间：向量空间 $V$ 的子集 $W$ 若对加法和标量乘法封闭，则称 $W$ 为 $V$ 的子空间。

张成空间：向量组 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_k\}$ 的张成空间定义为： $\text{span}\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_k\}=\{c_1{\mathbf{v}}_1+\cdots +c_k{\mathbf{v}}_k:c_i\in \mathbb{F}\}$

线性无关：若 $c_1{\mathbf{v}}_1+\cdots +c_k{\mathbf{v}}_k=0$ 蕴含所有 $c_i=0$，则向量组线性无关。

基：线性无关且张成整个空间的向量组。基中向量的个数称为维数 $\dim (V)$。

标准基：${\mathbb{R}}^n$ 的标准基为 ${\mathbf{e}}_1=(1,0,\dots ,0),{\mathbf{e}}_2=(0,1,\dots ,0),\dots ,{\mathbf{e}}_n=(0,0,\dots ,1)$。

基变换示例

向量 $\mathbf{x}=(3,1{)}^T$ 在标准基下的坐标即为 $(3,1{)}^T$。但在基 ${\mathbf{v}}_1=(1,1{)}^T,{\mathbf{v}}_2=(1,-1{)}^T$ 下，$\mathbf{x}=2{\mathbf{v}}_1+1{\mathbf{v}}_2$，坐标为 $(2,1{)}^T$。

1.3 内积空间

内积是向量空间上的双线性函数 $⟨\cdot ,\cdot ⟩:V\times V\to \mathbb{F}$，满足：

1. 共轭对称性：$⟨\mathbf{u},\mathbf{v}⟩=\overline{⟨\mathbf{v},\mathbf{u}⟩}$
2. 线性性：$⟨c\mathbf{u}+\mathbf{v},\mathbf{w}⟩=c⟨\mathbf{u},\mathbf{w}⟩+⟨\mathbf{v},\mathbf{w}⟩$
3. 正定性：$⟨\mathbf{v},\mathbf{v}⟩\ge 0$，且等号成立当且仅当 $\mathbf{v}=0$

在 ${\mathbb{R}}^n$ 中，标准内积为 $⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^T\mathbf{v}={\sum }_i{u}_i{v}_i$。

范数由内积导出：$\Vert \mathbf{v}\Vert =\sqrt{⟨\mathbf{v},\mathbf{v}⟩}$。

---

二、矩阵运算与分解

2.1 矩阵基本运算

设 $A\in {\mathbb{R}}^{m\times n}$，$B\in {\mathbb{R}}^{n\times p}$：

• 乘法：$(AB{)}_{ij}={\sum }_{k=1}^n{A}_{ik}{B}_{kj}$，结果为 $m\times p$ 矩阵
• 转置：$(A^T{)}_{ij}=A_{ji}$
• 逆：$A{A}^{-1}=A^{-1}A=I$（仅当 $A$ 可逆，即 $\det (A)\ne 0$）

行列式的性质：

• $\det (AB)=\det (A)\det (B)$
• $\det (A^T)=\det (A)$
• $A$ 可逆当且仅当 $\det (A)\ne 0$

迹：$\text{tr}(A)={\sum }_{i=1}^n{A}_{ii}$，满足循环性质 $\text{tr}(ABC)=\text{tr}(BCA)=\text{tr}(CAB)$。

2.2 LU分解

LU分解将矩阵分解为下三角矩阵 $L$ 和上三角矩阵 $U$ 的乘积：

$A=LU$

其中 $L$ 是单位下三角矩阵（对角线元素为1），$U$ 是上三角矩阵。

LU分解在求解线性方程组 $A\mathbf{x}=\mathbf{b}$ 时极为高效：

1. 前向替换：$L\mathbf{y}=\mathbf{b}$ 求解 $\mathbf{y}$
2. 后向替换：$U\mathbf{x}=\mathbf{y}$ 求解 $\mathbf{x}$

带行交换的LU分解（PA = LU）：为保证数值稳定性，实际计算中通常引入置换矩阵 $P$：

$PA=LU$

2.3 QR分解

QR分解将矩阵分解为正交矩阵 $Q$ 和上三角矩阵 $R$：

$A=QR$

其中 $Q\in {\mathbb{R}}^{m\times n}$ 满足 $Q^{T}Q=I$（列正交），$R\in {\mathbb{R}}^{n\times n}$ 为上三角。

QR分解的计算方法：

• Gram-Schmidt正交化
• Householder变换（数值更稳定）
• Givens旋转

2.4 奇异值分解（SVD）

奇异值分解是矩阵最重要的分解形式之一，适用于任意 $m\times n$ 矩阵：

$A=U\Sigma V^T$

其中：

• $U\in {\mathbb{R}}^{m\times m}$ 是正交矩阵（$A$ 的左奇异向量）
• $\Sigma \in {\mathbb{R}}^{m\times n}$ 是对角矩阵，对角线元素为奇异值 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$
• $V\in {\mathbb{R}}^{n\times n}$ 是正交矩阵（$A$ 的右奇异向量）
• $r=\text{rank}(A)$ 是矩阵的秩

几何意义：SVD将线性变换分解为旋转→缩放→旋转三个步骤。奇异值 ${\sigma }_i$ 表示在各正交方向上的伸缩因子。

SVD与特征值的关系

• $A{A}^T=U{\Sigma }^2{U}^T$，故 $A{A}^T$ 的特征值是 ${\sigma }_i^2$
• $A^{T}A=V{\Sigma }^2{V}^T$，故 $A^{T}A$ 的特征值也是 ${\sigma }_i^2$
• 若 $A$ 对称正定（$A=Q\Lambda Q^T$），则奇异值就是特征值的绝对值

2.5 谱分解（特征分解）

对于可对角化矩阵 $A\in {\mathbb{R}}^{n\times n}$（有 $n$ 个线性无关特征向量）：

$A=Q\Lambda Q^{-1}$

其中 $Q$ 的列是特征向量，$\Lambda =\text{diag}({\lambda }_1,\dots ,{\lambda }_n)$ 是对角特征值矩阵。

实对称矩阵的特殊情况（谱定理）： $A=Q\Lambda Q^T$

其中 $Q$ 是正交矩阵，特征值均为实数。

---

三、特征值与特征向量

3.1 定义与基本性质

特征值 $\lambda$ 和特征向量 $\mathbf{v}\ne 0$ 满足：

$A\mathbf{v}=\lambda \mathbf{v}$

特征方程（特征多项式）： $\det (A-\lambda I)=0$

特征值的基本性质：

• $\det (A)={\prod }_{i=1}^n{\lambda }_i$（特征值的乘积）
• $\text{tr}(A)={\sum }_{i=1}^n{\lambda }_i$（特征值的和）
• $\text{rank}(A)=\text{非零特征值的个数}$
• $\det (e^A)=e^{\text{tr}(A)}$

3.2 特征向量的几何意义

特征向量 $\mathbf{v}$ 满足：$A$ 在 $\mathbf{v}$ 方向上的作用只是简单的缩放，缩放因子为特征值 $\lambda$。

• 若 $\lambda >1$：向量被拉伸
• 若 $0<\lambda <1$：向量被压缩
• 若 $\lambda <0$：向量反向
• 若 $|\lambda |=1$：向量仅旋转（正交矩阵的情况）

幂迭代：给定矩阵 $A$，反复计算 $A^k\mathbf{v}$ 会收敛到主特征向量（对应最大特征值的特征向量）。

3.3 矩阵的迹与幂

Cayley-Hamilton定理：任意方阵满足其特征多项式： $p(\lambda )=\det (\lambda I-A)\Rightarrow p(A)=0$

这意味着 $A^n$ 可以表示为 $I,A,A^2,\dots ,A^{n-1}$ 的线性组合，这在某些矩阵计算中非常有用。

矩阵指数：$e^A={\sum }_{k=0}^{\infty }\frac{A^k}{k!}=I+A+\frac{A^2}{2!}+\cdots$

矩阵指数在微分方程 $d\mathbf{x}/dt=A\mathbf{x}$ 的求解中起关键作用：$\mathbf{x}(t)=e^{At}\mathbf{x}(0)$。

---

四、正交性与最小二乘

4.1 正交与正交矩阵

正交向量：$\mathbf{u},\mathbf{v}$ 正交当且仅当 $⟨\mathbf{u},\mathbf{v}⟩=0$。

正交矩阵：$Q\in {\mathbb{R}}^{n\times n}$ 满足 $Q^{T}Q=I$。

正交矩阵的性质：

• $Q^{-1}=Q^T$
• $\Vert Q\mathbf{x}\Vert =\Vert \mathbf{x}\Vert$（保范数）
• $(Q\mathbf{u}{)}^T(Q\mathbf{v})={\mathbf{u}}^T\mathbf{v}$（保内积）
• $\det (Q)=\pm 1$

4.2 正交投影

向量 $\mathbf{b}$ 到子空间 $C(A)$（$A$ 的列空间）的正交投影为：

$\hat{\mathbf{b}}=A(A^{T}A{)}^{-1}{A}^T\mathbf{b}$

投影矩阵：$P=A(A^{T}A{)}^{-1}{A}^T$，满足 $P^2=P$（幂等性）和 $P^T=P$（对称性）。

Gram-Schmidt正交化：将线性无关向量组 $\{{\mathbf{a}}_1,\dots ,{\mathbf{a}}_n\}$ 转化为正交向量组 $\{{\mathbf{q}}_1,\dots ,{\mathbf{q}}_n\}$：

${\mathbf{q}}_k={\mathbf{a}}_k-{\sum }_{j=1}^{k-1}\frac{{\mathbf{q}}_j^T{\mathbf{a}}_k}{{\mathbf{q}}_j^T{\mathbf{q}}_j}{\mathbf{q}}_j$

4.3 最小二乘法

最小二乘问题： ${\min }_{\mathbf{x}}\Vert A\mathbf{x}-\mathbf{b}{\Vert }^2$

解满足正规方程（Normal Equations）： $A^{T}A\mathbf{x}=A^T\mathbf{b}$

解为 $\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}$（当 $A^{T}A$ 可逆时）。

几何意义：$\hat{\mathbf{x}}$ 使得 $A\hat{\mathbf{x}}$ 是 $\mathbf{b}$ 在 $A$ 列空间上的正交投影。

数值稳定的求解方法

直接求解正规方程 $(A^{T}A{)}^{-1}{A}^T\mathbf{b}$ 数值不稳定（条件数平方）。推荐使用：

1. QR分解：$A=QR$，则 $\hat{\mathbf{x}}=R^{-1}{Q}^T\mathbf{b}$
2. SVD：$\hat{\mathbf{x}}=V{\Sigma }^{-1}{U}^T\mathbf{b}$（当 $A$ 病态时最稳定）

4.4 约束最小二乘

正则化最小二乘（岭回归）： ${\min }_{\mathbf{x}}\Vert A\mathbf{x}-\mathbf{b}{\Vert }^2+\lambda \Vert \mathbf{x}{\Vert }^2$

解为 $\hat{\mathbf{x}}=(A^{T}A+\lambda I{)}^{-1}{A}^T\mathbf{b}$。

正则化的作用：

• 当 $A^{T}A$ 病态时，$\lambda I$ 改善条件数
• 引入偏差换取方差减小（偏差-方差权衡）
• 当 $\lambda >0$ 时，解不会发散

---

五、矩阵微积分

5.1 矩阵导数的定义

标量对向量求导：$f:{\mathbb{R}}^n\to \mathbb{R}$

$\frac{\partial f}{\partial \mathbf{x}}=\left(\begin{array}{c}\frac{\partial f}{\partial x_1}\\ ⋮\\ \frac{\partial f}{\partial x_n}\end{array}\right)$

向量对向量求导（Jacobian）：$\mathbf{f}:{\mathbb{R}}^n\to {\mathbb{R}}^m$

$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}=\left(\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_1}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_1}{\partial x_n}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right)$

5.2 常用矩阵求导公式

函数	导数
${\mathbf{a}}^T\mathbf{x}$	$\mathbf{a}$
${\mathbf{x}}^{T}A\mathbf{x}$（$A$ 对称）	$2A\mathbf{x}$
${\mathbf{x}}^T\mathbf{x}$	$2\mathbf{x}$
$\	A\mathbf{x} - \mathbf{b}\
$\log \Vert \Sigma \Vert$（$\Sigma$ 对称正定）	$2{\Sigma }^{-1}$
$\text{tr}(AX)$	$A^T$

5.3 二阶导数与Hessian矩阵

Hessian矩阵：标量函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 的二阶导数：

$H=\frac{{\partial }^{2}f}{\partial \mathbf{x}\partial {\mathbf{x}}^T}=\left(\begin{array}{ccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right)$

Hessian矩阵的性质：

• 若 $f$ 二阶连续可微，Hessian是对称的
• 凸函数的Hessian是半正定的
• 临界点（梯度为零）处的Hessian决定了极值性质

---

六、线性代数在机器学习中的应用

6.1 主成分分析（PCA）

PCA通过SVD寻找数据方差最大的正交方向（主成分）。

设数据矩阵 $X\in {\mathbb{R}}^{n\times d}$（$n$ 个样本，$d$ 维特征），数据中心化为 ${\sum }_i{\mathbf{x}}_i=0$。

协方差矩阵：$C=\frac{1}{n-1}{X}^{T}X$。

PCA步骤：

1. 计算 $C$ 的特征值分解或 $X$ 的SVD：$X=U\Sigma V^T$
2. 选择前 $k$ 个最大特征值对应的特征向量
3. 投影数据到这 $k$ 维子空间

PCA的SVD视角

若 $X=U\Sigma V^T$，则 $X^{T}X=V{\Sigma }^2{V}^T$。因此 $V$ 的列（左奇异向量）正是 $X^{T}X$ 的特征向量，即PCA的主成分方向。奇异值 ${\sigma }_i$ 与特征值的关系为 ${\lambda }_i={\sigma }_i^2/(n-1)$。

6.2 线性回归与广义线性模型

线性回归：$y={\mathbf{w}}^T\mathbf{x}+ϵ$

最小二乘解：$\hat{\mathbf{w}}=(X^{T}X{)}^{-1}{X}^T\mathbf{y}$

Logistic回归：$P(y=1|\mathbf{x})=\sigma ({\mathbf{w}}^T\mathbf{x})=\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}$

通过梯度下降优化，参数更新： $\mathbf{w}\leftarrow \mathbf{w}-\eta \cdot \frac{\partial \mathcal{L}}{\partial \mathbf{w}}$

6.3 奇异值分解的降维应用

截断SVD：保留最大的 $k$ 个奇异值：

$A_k=U_k{\Sigma }_k{V}_k^T$

$A_k$ 是 $A$ 在Frobenius范数意义下的最优 $k$ 秩逼近（Eckart-Young定理）：

$\Vert A-A_k{\Vert }_F^2={\sum }_{i=k+1}^r{\sigma }_i^2$

这在推荐系统（如矩阵分解）和图像压缩中有重要应用。

6.4 神经网络中的线性代数

深度学习中的核心计算都是矩阵运算：

• 前向传播：$Z^{(l)}=W^{(l)}{A}^{(l-1)}+b^{(l)}$
• 反向传播：通过链式法则计算梯度，本质是雅可比矩阵的乘积
• 注意力机制：$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

GPU的并行计算能力正是源于其对大规模矩阵运算的高效支持。

---

参考文献

1. Strang, G. (2009). Introduction to Linear Algebra (4th ed.). Wellesley-Cambridge Press.
2. Golub, G. H., & Van Loan, C. F. (2013). Matrix Computations (4th ed.). Johns Hopkins University Press.
3. Horn, R. A., & Johnson, C. R. (2012). Matrix Analysis (2nd ed.). Cambridge University Press.
4. Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark.
5. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

---

相关文档

• 凸优化深度指南 - 矩阵优化问题的求解方法
• 概率论深度指南 - 多元正态分布与协方差矩阵
• 统计学深度指南 - PCA与因子分析的统计基础