统计学深度指南

文档概述

本指南系统梳理统计学从经典频率学派到现代贝叶斯学派的完整理论体系，涵盖点估计、区间估计、假设检验、参数估计方法以及EM算法等核心内容，为数据科学与机器学习提供方法论基础。

关键词

序号	关键词	英文	核心公式
1	频率学派	Frequentist	基于重复抽样的推断
2	贝叶斯学派	Bayesian	$P(\theta \Vert X)\propto P(X\Vert \theta )P(\theta )$
3	点估计	Point Estimation	$\hat{\theta }=\arg {\max }_{\theta }\mathcal{L}(\theta )$
4	区间估计	Interval Estimation	$[\hat{\theta }-z_{\alpha /2}\cdot SE,\hat{\theta }+z_{\alpha /2}\cdot SE]$
5	假设检验	Hypothesis Testing	$H_0:\theta ={\theta }_0$ vs $H_1:\theta \ne {\theta }_0$
6	p值	p-value	$P(T(X)\ge t_{obs}\Vert H_0)$
7	最大似然估计	MLE	${\hat{\theta }}_{MLE}=\arg {\max }_{\theta }{\prod }_{i}p(x_i\Vert \theta )$
8	EM算法	EM Algorithm	$Q(\theta \Vert {\theta }^{(t)})={\mathbb{E}}_{Z\Vert X,{\theta }^{(t)}}[\log P(X,Z\Vert \theta )]$
9	置信区间	Confidence Interval	$P(\theta \in CI)=1-\alpha$
10	似然比检验	Likelihood Ratio Test	$\Lambda (x)=\frac{{\sup }_{\theta \in {\Theta }_0}L(\theta )}{{\sup }_{\theta \in \Theta }L(\theta )}$
11	费舍尔信息	Fisher Information	$I(\theta )=-\mathbb{E}\left[\frac{{\partial }^2\log L}{\partial {\theta }^2}\right]$
12	充分统计量	Sufficient Statistic	$p(x\Vert T(x),\theta )=p(x\Vert T(x))$

---

一、统计学派别之争：频率学派 vs 贝叶斯学派

1.1 哲学基础的分歧

统计学历史上最深刻的争论发生在频率学派（Frequentist）与贝叶斯学派（Bayesian）之间，这一争论的本质是对”概率”本质的不同理解。

频率学派将概率解释为长期频率。在这个框架下，未知参数 $\theta$ 是固定的常数，“概率”只能应用于可重复随机实验的长期频率。置信区间的解释是：若重复抽样100次，约95次包含真实参数值。代表性人物包括Fisher、Neyman和Pearson。

贝叶斯学派将概率解释为主观信念度。参数 $\theta$ 被视为随机变量，可以用概率分布描述。在观测数据前，参数服从先验分布 $p(\theta )$；观测数据后，根据贝叶斯定理更新为后验分布 $p(\theta |X)$。

Jeffreys (1939) 的经典表述

“Every increase in knowledge may be supposed to decrease the entropy, that is to say, the disorder of our probability distribution.”

1.2 两种方法的形式化对比

频率学派方法：

• 目标：估计未知参数 $\theta$ 的点值或构造置信区间
• 工具：样本均值 $\bar{X}$、样本方差 $S^2$、枢轴量
• 评估标准：无偏性 $\mathbb{E}[\hat{\theta }]=\theta$、有效性（方差最小）、一致性

贝叶斯方法：

• 目标：获得参数的后验分布 $p(\theta |X)$
• 工具：贝叶斯定理、先验分布、后验预测分布
• 评估标准：可信区间（直接给出参数落在某区间的概率）

方面	频率学派	贝叶斯学派
参数性质	固定未知常数	随机变量
概率解释	长期频率	主观信念
先验信息	通常忽略	显式编码
置信区间	覆盖概率	直接概率解释
计算复杂度	通常较低	通常较高

1.3 实用主义视角

现代统计实践中，两种方法各有优劣：

• 频率学派优势：计算简单，不需要先验选择，客观性较强
• 贝叶斯优势：自然融合先验信息，不确定性量化完整，可处理复杂层次模型

经验贝叶斯（Empirical Bayes）在两者之间架起桥梁：用数据来估计先验超参数，既保留了贝叶斯框架的灵活性，又减少了主观性。

---

二、点估计与区间估计

2.1 点估计的基本概念

点估计是用一个具体数值 $\hat{\theta }$ 来估计未知参数 $\theta$ 的方法。

评价标准：

1. 无偏性：$\mathbb{E}[\hat{\theta }]=\theta$

   • 样本均值 $\bar{X}$ 是总体均值 $\mu$ 的无偏估计
   • 样本方差 $S^2=\frac{1}{n-1}\sum (X_i-\bar{X}{)}^2$ 是 ${\sigma }^2$ 的无偏估计（注意除以 $n-1$ 而非 $n$）

2. 有效性：在所有无偏估计中，方差最小者为有效估计

   • Cramér-Rao下界给出了无偏估计方差的下限

3. 一致性：当样本量 $n\to \infty$ 时，${\hat{\theta }}_n\stackrel{P}{\to }\theta$

   • 一致性保证了估计随数据增加而趋近真实值

4. 均方误差（MSE）：$\text{MSE}(\hat{\theta })=\mathbb{E}[(\hat{\theta }-\theta {)}^2]=\text{Var}(\hat{\theta })+{\text{Bias}}^2(\hat{\theta })$

   • MSE统一衡量了估计的偏差和方差

2.2 矩估计法

矩估计法（Method of Moments, MoM）通过样本矩匹配总体矩来估计参数。

设总体有 $k$ 个未知参数 ${\theta }_1,\dots ,{\theta }_k$，令前 $k$ 阶样本矩等于对应总体矩：

$\{\begin{array}{l}\bar{X}=\mathbb{E}[X]\\ \frac{1}{n}\sum X_i^2=\mathbb{E}[X^2]\\ ⋮\\ \frac{1}{n}\sum X_i^k=\mathbb{E}[X^k]\end{array}$

解此方程组即得参数估计。矩估计法简单直观，但通常不如MLE高效。

2.3 区间估计

区间估计给出参数的一个区间范围，同时声明对该区间可靠程度的信心。

置信区间的频率学派定义： $P(\theta \in [L(X),U(X)])=1-\alpha$

其中 $[L,U]$ 是置信区间，$1-\alpha$ 是置信水平（如95%）。

置信区间的常见误解

“95%置信区间”并不意味着”参数有95%的概率落在这个区间内”。正确的解释是：如果重复抽样100次构造置信区间，约95个区间会包含真实参数值。参数的取值是固定的，区间才是随机的。

枢轴量法构造置信区间：

1. 选择一个统计量 $T(X,\theta )$，其分布不依赖 $\theta$
2. 求 $P(a\le T(X,\theta )\le b)=1-\alpha$ 中的 $a,b$
3. 解不等式得到 $\theta$ 的区间 $[L,U]$

---

三、假设检验与p值

3.1 假设检验框架

假设检验是决定是否拒绝原假设 $H_0$ 的统计方法。

• 原假设 $H_0$：通常表示”无效应”或”现状”
• 备择假设 $H_1$：研究者希望证明的命题
• 检验统计量 $T(X)$：汇总数据的函数
• 拒绝域：使 $H_0$ 被拒绝的 $T$ 值区域

两类错误：

错误类型	定义	记作
第一类错误	$H_0$ 为真但被拒绝	$\alpha = P(\text{reject } H_0
第二类错误	$H_0$ 为假但未拒绝	$\beta = P(\text{fail to reject } H_0

势函数：$\pi (\theta )=P_{\theta }(\text{reject }{H}_0)$，描述检验在不同参数值下的拒绝概率。

3.2 p值的精确定义

p值是在原假设成立的前提下，观察到比实际数据更极端结果的概率：

$\text{p-value}=P_{H_0}(T(X)\ge T(x_{obs}))$

p值的解读：

• 小p值（如 $p<0.05$）：在 $H_0$ 成立时，观测数据是”小概率事件”，倾向于拒绝 $H_0$
• 大p值：数据与 $H_0$ 相符，无法拒绝 $H_0$

p值的常见误用

1. p值不等于” $H_0$ 为真的概率”（那是后验概率）
2. p值不能衡量效应大小或实际重要性
3. p值具有”可复制性危机”：即使实验设计完美，$p<0.05$ 的结果中也约有32%是虚假的（假设检验的先验概率为50%）

3.3 似然比检验

似然比检验（Likelihood Ratio Test, LRT）是构造检验的通用方法：

$\Lambda (x)=\frac{{\sup }_{\theta \in {\Theta }_0}L(\theta )}{{\sup }_{\theta \in \Theta }L(\theta )}$

Wilks定理表明，在一定正则条件下，当 $H_0$ 成立且样本量足够大时：

$-2\log \Lambda (X)\stackrel{d}{\to }{\chi }_{df}^2$

其中 $df$ 是约束参数的个数。

---

四、最大似然估计（MLE）

4.1 MLE的定义与性质

最大似然估计是统计学中最重要的估计方法之一。设观测数据 $X=(x_1,\dots ,x_n)$ 来自密度 $p(x|\theta )$，似然函数定义为：

$\mathcal{L}(\theta |X)={\prod }_{i=1}^{n}p(x_i|\theta )$

对数似然为便于计算：

$\ell (\theta |X)=\log \mathcal{L}(\theta |X)={\sum }_{i=1}^n\log p(x_i|\theta )$

MLE定义为： ${\hat{\theta }}_{MLE}=\arg {\max }_{\theta \in \Theta }\mathcal{L}(\theta |X)=\arg {\max }_{\theta \in \Theta }\ell (\theta |X)$

MLE的优良性质：

1. 一致性：${\hat{\theta }}_{MLE}\stackrel{P}{\to }\theta$ 当 $n\to \infty$
2. 渐近正态性：$\sqrt{n}({\hat{\theta }}_{MLE}-\theta )\stackrel{d}{\to }\mathcal{N}(0,I(\theta {)}^{-1})$
   • 其中 $I(\theta )=-\mathbb{E}\left[\frac{{\partial }^2\log p(X|\theta )}{\partial {\theta }^2}\right]$ 是费舍尔信息
3. 渐近有效性：在正则条件下，MLE达到Cramér-Rao下界
4. 不变性：若 $\hat{\theta }$ 是 $\theta$ 的MLE，则 $g(\hat{\theta })$ 是 $g(\theta )$ 的MLE

4.2 MLE的计算方法

解析求解：对数似然求导令其为零 $\frac{\partial \ell (\theta )}{\partial \theta }=0$

数值优化：对于复杂模型，使用：

• 牛顿-拉夫森法（Newton-Raphson）
• Fisher得分法（Fisher Scoring）
• EM算法（见下节）
• 梯度下降法

正态分布参数的MLE

设 $X_i\sim \mathcal{N}(\mu ,{\sigma }^2)$，则：

• ${\hat{\mu }}_{MLE}=\bar{X}$（样本均值）
• ${\hat{\sigma }}_{MLE}^2=\frac{1}{n}\sum (X_i-\bar{X}{)}^2$（注意除以 $n$ 而非 $n-1$，是有偏的）

虽然 ${\hat{\sigma }}_{MLE}^2$ 有偏，但它仍是 ${\sigma }^2$ 的MLE。修正偏差后得到无偏估计 $S^2$。

---

五、EM算法详解

5.1 隐变量的引入

EM算法（Expectation-Maximization）专门用于处理隐变量（latent variable）模型。当数据中存在不可观测的隐变量 $Z$ 时，直接最大化似然函数往往困难重重。

观测数据的似然： $\mathcal{L}(\theta |X)=\int \mathcal{L}(\theta |X,Z)p(Z|X,{\theta }^{(t)})dZ$

直接计算这个积分通常不可行。

5.2 EM的两步迭代

E步（Expectation）：计算隐变量后验分布下的期望对数似然 $Q(\theta |{\theta }^{(t)})={\mathbb{E}}_{Z|X,{\theta }^{(t)}}[\log p(X,Z|\theta )]$

M步（Maximization）：最大化 $Q$ 函数得到新参数 ${\theta }^{(t+1)}=\arg {\max }_{\theta }Q(\theta |{\theta }^{(t)})$

EM算法的关键洞察：直接优化 $p(X|\theta )$ 困难，但优化完整数据似然 $p(X,Z|\theta )$ 加上隐变量的期望往往容易。

5.3 EM的收敛性

EM算法单调收敛到局部最优解（不是全局最优）。每次迭代保证： $\mathcal{L}({\theta }^{(t+1)}|X)\ge \mathcal{L}({\theta }^{(t)}|X)$

EM的几何直观

可以将EM视为在似然曲面上交替进行”上升”（E步找到更好的下界）和”最大化”（M步移动到下界的峰值）。这就是为什么EM属于坐标上升方法。

5.4 EM的变体

变体	改进
GEM（广义EM）	M步只需增加 $Q$ 函数值，不必全局最大化
ECM（期望条件最大化）	在约束条件下交替最大化各参数
ECME（ECM扩展）	使用更快的似然值更新
ECMM（期望条件最大化替代）	使用不同的充分统计量更新
PX-EM（参数扩展EM）	引入扩展参数空间加速收敛

硬币实验的EM算法

假设有两枚硬币A和B，正面概率不同。观测数据是混合的抛掷结果（不知道每次用哪枚硬币）。EM算法通过迭代：E步估计每次抛掷使用各硬币的概率，M步用这些概率更新硬币的正面概率。

---

六、贝叶斯统计基础

6.1 先验分布的选择

无信息先验（Non-informative Prior）：

• 拉普拉斯先验：均匀分布 $p(\theta )\propto 1$
• Jeffreys先验：$p(\theta )\propto \sqrt{I(\theta )}$（费舍尔信息的平方根）
• Reference Prior：在特定条件下使得后验分布最大程度反映数据信息

共轭先验：后验分布与先验分布属于同一分布族，便于计算（详见概率论深度指南）。

层次先验：先验本身带有超参数，$p(\theta |\alpha )$，超参数 $\alpha$ 又有自己的先验 $p(\alpha )$，形成层次结构。

6.2 后验推断

点估计：

• 后验均值：${\hat{\theta }}_{mean}=\mathbb{E}[\theta |X]$
• 后验中位数：${\hat{\theta }}_{median}$ 满足 ${\int }_{-\infty }^{{\hat{\theta }}_{median}}p(\theta |X)d\theta =0.5$
• 后验众数（MAP估计）：${\hat{\theta }}_{MAP}=\arg {\max }_{\theta }p(\theta |X)$

后验可信区间（Credible Interval）： $P(\theta \in [a,b]|X)={\int }_a^{b}p(\theta |X)d\theta =1-\alpha$

贝叶斯可信区间的解释比频率学派置信区间更直观：参数落在该区间的后验概率为 $1-\alpha$。

6.3 贝叶斯因子

贝叶斯因子（Bayes Factor）用于比较两个假设：

$B_{10}=\frac{P(X|H_1)}{P(X|H_0)}=\frac{\int P(H_1|\theta )p(\theta )d\theta }{\int P(H_0|\theta )p(\theta )d\theta }$

贝叶斯因子的解读：

$B_{10}$	证据强度
1-3	微弱
3-10	中等
10-30	强
30-100	很强
> 100	决定性

BIC与贝叶斯因子的联系

当先验为适当先验时，$2\log B_{10}\approx {\text{BIC}}_0-{\text{BIC}}_1$，即贝叶斯因子近似于两个模型的BIC差。这为模型选择提供了实用方法。

---

七、非参数统计与稳健统计

7.1 非参数估计方法

非参数统计不假设数据来自特定的参数化分布，提供了更灵活的推断工具。

核密度估计（Kernel Density Estimation, KDE）：

给定样本 $x_1,\dots ,x_n$，密度函数 $f$ 的核估计为： ${\hat{f}}_h(x)=\frac{1}{nh}{\sum }_{i=1}^{n}K\left(\frac{x-x_i}{h}\right)$

其中 $K$ 是核函数（满足 $\int K(u)du=1$），$h$ 是带宽参数。

常用核函数：

• 高斯核：$K(u)=\frac{1}{\sqrt{2\pi }}{e}^{-u^2/2}$
• Epanechnikov核：$K(u)=\frac{3}{4}(1-u^2)$ 当 $|u|\le 1$
• 均匀核：$K(u)=\frac{1}{2}$ 当 $|u|\le 1$

带宽选择：

• 拇指法（Rule of Thumb）：$h=1.06\hat{\sigma }{n}^{-1/5}$
• 交叉验证：选择使积分均方误差最小的 $h$
• Silverman法：$h=0.9\min (\hat{\sigma },IQR/1.34)n^{-1/5}$

偏差-方差权衡

带宽 $h$ 控制平滑程度：

• $h$ 小：偏差小，方差大（过拟合噪声）
• $h$ 大：偏差大，方差小（欠拟合） 存在最优带宽使均方误差最小。

7.2 非参数假设检验

Wilcoxon符号秩检验（非参数配对检验）：

原假设：总体中位数为 $m_0$。

步骤：

1. 计算差值 $d_i=x_i-m_0$
2. 取绝对值 $|d_i|$ 并排序
3. 给正差值分配秩次（忽略零差值）
4. 检验统计量 $W^{+}$ 是正差值秩次之和

Mann-Whitney U检验（Wilcoxon秩和检验，非参数两组独立样本检验）：

检验两组样本是否来自同一分布。

统计量： $U=n_1{n}_2+\frac{n_1(n_1+1)}{2}-R_1$

其中 $R_1$ 是第一组样本的秩和。

Kruskal-Wallis检验（多组比较）：

非参数的单因素方差分析替代： $H=\frac{12}{N(N+1)}{\sum }_{j=1}^k\frac{R_j^2}{n_j}-3(N+1)$

其中 $R_j$ 是第 $j$ 组的秩和，$N$ 是总样本量。

7.3 Bootstrap方法

Bootstrap通过重采样来估计统计量的分布。

经验Bootstrap：

1. 从原始样本 $\mathbf{x}=(x_1,\dots ,x_n)$ 有放回地抽取 $n$ 个样本
2. 计算目标统计量 $T^{\ast }$
3. 重复 $B$ 次（如 $B=1000$）
4. 用 $T_1^{\ast },\dots ,T_B^{\ast }$ 的分布近似真实分布

Bootstrap置信区间：

百分位Bootstrap区间： $[{\hat{\theta }}_{(\alpha /2)}^{\ast },{\hat{\theta }}_{(1-\alpha /2)}^{\ast }]$

枢轴量Bootstrap区间（更准确）： $[\hat{\theta }-{\hat{\theta }}_{1-\alpha /2}^{\ast },\hat{\theta }-{\hat{\theta }}_{\alpha /2}^{\ast }]$

其中 ${\hat{\theta }}_{\alpha }^{\ast }$ 是 bootstrap 分布的 $\alpha$ 分位数。

Bootstrap的局限性

• 不适用于小样本（$n<10$）
• 当统计量的分布不稳健时效果差
• 需要计算资源支持大量重采样

7.4 稳健统计

稳健统计研究数据轻微偏离模型假设时的推断方法。

位置参数的稳健估计：

• 中位数：$L_1$ 范数意义下的最优估计，崩溃点 50%
• M估计：最小化 ${\sum }_i\rho (x_i-\theta )$，$\rho$ 是损失函数
• Huber估计：混合 $L_1$ 和 $L_2$ 损失 $\rho (t)=\{\begin{array}{ll}{t}^2/2& |t|\le c\\ c|t|-c^2/2& |t|>c\end{array}$

尺度的稳健估计：

• MAD（Median Absolute Deviation）： $\hat{\sigma }=1.4826\cdot \text{median}|x_i-\tilde{x}|$

崩溃点高，但效率低于样本方差。

影响函数与崩溃点：

• 影响函数：$\text{IF}(x,T,F)={\lim }_{ϵ\to 0}\frac{T((1-ϵ)F+ϵ{\delta }_x)-T(F)}{ϵ}$
• 崩溃点：使估计量偏离真实值的最小污染比例

---

八、贝叶斯统计深入

8.1 层次贝叶斯模型

层次模型通过多层先验结构来建模参数的参数（超参数）。

三层模型结构： $X|\theta \sim p(X|\theta )$ $\theta |\varphi \sim p(\theta |\varphi )$ $\varphi \sim p(\varphi )$

数据层：给定参数 $\theta$，观测 $X$ 先验层：给定超参数 $\varphi$，$\theta$ 的先验 超先验层：$\varphi$ 的先验

八个学校示例（Rubin, 1981）

八个学校SAT培训效果的估计。每个学校 $j$ 有观测效果 ${\hat{\theta }}_j\sim \mathcal{N}({\theta }_j,{\sigma }_j^2)$，而 ${\theta }_j\sim \mathcal{N}(\mu ,{\tau }^2)$。

• ${\theta }_j$：第 $j$ 个学校的真实效果（层次参数）
• $\mu$：总体平均效果（超参数）
• $\tau$：学校间差异程度（超参数） 这个模型自然地平衡了学校特定估计与总体估计。

8.2 共轭先验的深入讨论

共轭先验使得后验分布与先验同族，便于计算。

Beta分布：$p(\theta )=\frac{1}{B(\alpha ,\beta )}{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}$

Bernoulli-Beta共轭： $X_i|\theta \sim \text{Bernoulli}(\theta )$ $\theta \sim \text{Beta}(\alpha ,\beta )$ $\theta |x_1,\dots ,x_n\sim \text{Beta}\left(\alpha +\sum x_i,\beta +n-\sum x_i\right)$

Dirichlet-Multinomial共轭： $(X_1,\dots ,X_K)|\alpha \sim \text{Multinomial}(n,\theta )$ $\theta \sim \text{Dirichlet}({\alpha }_1,\dots ,{\alpha }_K)$ $\theta |\text{data}\sim \text{Dirichlet}({\alpha }_1+n_1,\dots ,{\alpha }_K+n_K)$

Normal-Normal共轭（方差已知）： $\bar{X}|\mu \sim \mathcal{N}(\mu ,{\sigma }^2/n)$ $\mu \sim \mathcal{N}({\mu }_0,{\sigma }_0^2)$ $\mu |\text{data}\sim \mathcal{N}({\mu }_n,{\sigma }_n^2)$

其中： ${\sigma }_n^2={\left(\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2}\right)}^{-1}$ ${\mu }_n={\sigma }_n^2\left(\frac{{\mu }_0}{{\sigma }_0^2}+\frac{n\bar{x}}{{\sigma }^2}\right)$

8.3 马尔可夫链蒙特卡洛方法

MCMC方法通过构造马尔可夫链来生成后验样本。

Metropolis-Hastings算法：

1. 选择提议分布 $q({\theta }^{\prime }|{\theta }^{(t)})$
2. 计算接受概率： $\alpha =\min \left(1,\frac{p({\theta }^{\prime })q({\theta }^{(t)}|{\theta }^{\prime })}{p({\theta }^{(t)})q({\theta }^{\prime }|{\theta }^{(t)})}\right)$
3. 以概率 $\alpha$ 接受 ${\theta }^{\prime }$，否则保留 ${\theta }^{(t)}$

当 $q$ 对称时（如正态提议），简化为标准Metropolis算法。

Gibbs采样：

是 Metropolis-Hastings 的特例，提议分布为条件分布： $q({\theta }_j^{\prime }|{\theta }_{-j}^{(t)})=p({\theta }_j^{\prime }|{\theta }_{-j}^{(t)},X)$

收敛诊断：

• Geweke检验：比较链前后部分的均值
• Gelman-Rubin统计量：$\hat{R}$，比较多链方差
• 有效样本量（ESS）

8.4 变分推断高级专题

变分推断将贝叶斯推断转化为优化问题。

平均场变分族： $q(Z)={\prod }_{j=1}^m{q}_j(Z_j)$

最优的 $q_j$ 满足： $\log q_j^{\ast }(Z_j)={\mathbb{E}}_{-j}[\log p(X,Z)]+\text{const}$

变分EM（Variational EM）：

当模型有潜在变量 $Z$ 和参数 $\theta$ 时，交替优化：

• E步：用变分分布近似 $P(Z|X,{\theta }^{(t)})$
• M步：最大化 ${\mathbb{E}}_q[\log p(X,Z|\theta )]$

黑盒变分推断（BBVI）：

使用随机梯度下降优化ELBO： ${\nabla }_{\varphi }\mathcal{L}\approx \frac{1}{S}{\sum }_{s=1}^S{\nabla }_{\varphi }\log q(z_s|\varphi )(\log p(X,z_s)-\log q(z_s|\varphi ))$

使用重参数化技巧来降低梯度方差。

---

九、统计学习理论基础

9.1 PAC学习框架

PAC（Probably Approximately Correct）学习是分类学习的理论框架。

PAC可学习：若存在学习算法 $\mathcal{A}$ 和多项式 $m(\cdot ,\cdot ,\cdot )$ 使得对任意 $d,ϵ,\delta$ 和分布 $\mathcal{D}$，当样本量 $m\ge m(ϵ,\delta ,d)$ 时： $P_{S\sim {\mathcal{D}}^m}\left(R(h_S)>ϵ\right)<\delta$

其中 $R(h)=P_{(x,y)\sim \mathcal{D}}(h(x)\ne y)$ 是真实风险。

样本复杂度： $m(ϵ,\delta )=\frac{1}{2{ϵ}^2}\left(\log |H|+\log \frac{1}{\delta }\right)$

对于有限假设空间。

9.2 VC维度

VC维度（Vapnik-Chervonenkis Dimension）衡量假设空间的表达能力。

定义：$\mathcal{H}$ 的VC维是能被 $\mathcal{H}$ 打散的最大有限点集的大小。

打散：若对点集的任意二值标记，$\mathcal{H}$ 都存在假设完美分类。

** Sauer引理**：若VCdim($\mathcal{H}$) = $d$，则： $|\mathcal{H}\cap {\mathcal{X}}^m|\le {\sum }_{i=0}^d\left(\genfrac{}{}{0ex}{}{m}{i}\right)$

VC维与样本复杂度： $m(ϵ,\delta )=\frac{8}{{ϵ}^2}\left(\log \frac{4}{\delta }+\log |H|\right)\approx \frac{8d}{{ϵ}^2}\log \frac{1}{ϵ}$

深度神经网络的VC维

对于具有 $W$ 个参数的网络，VC维上界为 $O(W\log W)$。这说明网络容量（参数数量）控制表达能力。

9.3 Rademacher复杂度

Rademacher复杂度提供了更精细的学习边界。

定义： ${\mathcal{R}}_m(\mathcal{H})={\mathbb{E}}_{S,\sigma }\left[{\sup }_{h\in \mathcal{H}}\frac{1}{m}{\sum }_{i=1}^m{\sigma }_{i}h(x_i)\right]$

其中 ${\sigma }_i\sim \text{Rademacher}(\pm 1)$ 是随机符号。

泛化边界： $R(h_S)\le \hat{R}(h_S)+2{\mathcal{R}}_m(\mathcal{H})+\sqrt{\frac{\log (1/\delta )}{2m}}$

Rademacher复杂度随样本量增长更快地收敛，因此边界比VC维更紧。

经验Rademacher复杂度： ${\hat{\mathcal{R}}}_S(\mathcal{H})={\mathbb{E}}_{\sigma }\left[{\sup }_{h\in \mathcal{H}}\frac{1}{m}{\sum }_{i=1}^m{\sigma }_{i}h(x_i)\right]$

用样本代替期望。

9.4 偏差-方差分解

偏差-方差分解是理解模型复杂度的核心工具。

对于回归问题 $Y=f(X)+ϵ$，预测误差分解为： $\mathbb{E}[(Y-\hat{f}(X){)}^2]=\text{Var}(f(X))+{\text{Bias}}^2(\hat{f})+\text{Var}(ϵ)$

• 偏差：模型假设与真实函数的差距（欠拟合）
• 方差：模型对训练数据的敏感度（过拟合）
• ** irreducible error**：数据固有噪声

多项式回归

• 一次多项式：偏差高，方差低（欠拟合）
• 高次多项式：偏差低，方差高（过拟合）
• 最优复杂度在两者之间取得平衡

正则化与偏差-方差权衡：

岭回归：$\hat{\beta }=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$

当 $\lambda >0$ 时：

• 增加偏差（收缩效应）
• 减少方差（正则化效应）

---

十、因果推断基础

10.1 因果推断的基本框架

因果推断研究从观测数据推断因果关系的方法论。

潜在结果框架（Rubin因果模型）：

每个个体 $i$ 有两个潜在结果：

• $Y_i(1)$：接受处理的结果
• $Y_i(0)$：未接受处理的结果

个体处理效应（ITE）： ${\tau }_i=Y_i(1)-Y_i(0)$

问题是：每个个体只能观测到一个潜在结果！

平均处理效应（ATE）： $\text{ATE}=\mathbb{E}[Y(1)-Y(0)]=\mathbb{E}[Y(1)]-\mathbb{E}[Y(0)]$

10.2 随机实验与混淆变量

随机化实验是因果推断的金标准：

• 随机分配处理 vs 对照
• 处理分配与潜在结果独立
• $\text{ATE}=\mathbb{E}[Y|T=1]-\mathbb{E}[Y|T=0]$

混淆变量（Confounder）：同时影响处理分配和结果变量。

控制混淆的方法：

• 分层：按混淆变量分层后比较
• 匹配：匹配处理组和对照组的混淆变量
• 协变量调整：回归中控制混淆变量
• 工具变量：利用外生变异性

10.3 倾向得分方法

倾向得分（Propensity Score）： $e(x)=P(T=1|X=x)$

倾向得分匹配： ${\hat{\tau }}_{PSM}=\mathbb{E}[Y(1)-Y(0)]\approx \frac{1}{n_1}{\sum }_{i:T_i=1}\left(Y_i-Y_{j(i)}\right)$

其中 $j(i)$ 是与 $i$ 倾向得分最接近的对照个体。

逆概率加权（IPW）： ${\hat{\tau }}_{IPW}=\frac{1}{n}{\sum }_{i=1}^n\frac{T_i{Y}_i}{\hat{e}(x_i)}-\frac{1}{n}{\sum }_{i=1}^n\frac{(1-T_i)Y_i}{1-\hat{e}(x_i)}$

10.4 因果图模型

有向无环图（DAG）表示因果结构。

d-分离（有向分离）：判断两个变量在给定第三组变量时是否条件独立。

后门路径：连接处理和结果的非因果路径。

后门准则：若存在变量集 $Z$ 阻断所有从 $X$ 到 $Y$ 的后门路径，则： $P(Y|do(X=x),Z)=P(Y|X=x,Z)$

这允许从观测数据估计 $do$ 操作的效果。

Pearl的因果阶梯

1. 关联（Association）：$P(Y|X)$ - 看到 $X$ 改变 $Y$ 的概率
2. 干预（Intervention）：$P(Y|do(X),Z)$ - 强制设置 $X$ 的效果
3. 反事实（Counterfactual）：$P(Y_x|X=x^{\prime },Y=y^{\prime })$ - 若 $X$ 不同会发生什么

---

十一、实验设计与分析

11.1 随机化完全区组设计

完全随机化设计（CRD）：

• 处理随机分配到实验单元
• 适用于均匀实验环境

随机区组设计（RCBD）：

• 将实验单元分成区组（块）
• 区组内条件尽可能均匀
• 处理在每个区组内随机分配

拉丁方设计：

• 两个区组因素（如行和列）
• 每个处理在每行每列恰好出现一次
• 提高效率

11.2 因子实验

因子实验同时研究多个因素的效应。

主效应：单个因素的效应（忽略其他因素）。

交互效应：一个因素的水平效应依赖于另一个因素的水平。

2^k析因设计：

$k$ 个因素，每个因素 2 个水平（高/低）：

• $2^2$ 设计：4 个处理组合
• $2^3$ 设计：8 个处理组合
• 适合筛选实验

部分析因设计：

当因素较多时，使用部分因子设计减少实验次数。

• $2^{k-p}$ 设计：$k$ 个因素，$p$ 个因素被折叠

11.3 方差分析深入

单因素方差分析： $Y_{ij}=\mu +{\tau }_i+{ϵ}_{ij}$

其中 ${\tau }_i$ 是处理效应，${ϵ}_{ij}\sim \mathcal{N}(0,{\sigma }^2)$。

平方和分解： $\text{SST}=\text{SSB}+\text{SSW}$

• SST：总平方和
• SSB：组间平方和（处理效应）
• SSW：组内平方和（误差）

F检验： $F=\frac{\text{MSB}}{\text{MSW}}\sim F_{k-1,N-k}$

11.4 响应曲面方法

响应曲面方法（RSM）优化过程参数。

Box-Behnken设计：

• 三水平设计
• 不包含角点组合
• 适合约束区域

中心复合设计（CCD）：

• 因子水平：$-\alpha ,-1,0,1,\alpha$
• 包含轴向点
• 可拟合二次模型

梯度下降： $\nabla f=\left(\frac{\partial f}{\partial x_1},\dots ,\frac{\partial f}{\partial x_k}\right)$

沿负梯度方向迭代寻找最优。

---

十二、时间序列分析

12.1 ARMA模型

自回归移动平均模型（ARMA）是时间序列分析的基础。

AR(p)模型： $X_t={\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+\cdots +{\varphi }_p{X}_{t-p}+{ϵ}_t$

其中 ${ϵ}_t\sim WN(0,{\sigma }^2)$（白噪声）。

MA(q)模型： $X_t={ϵ}_t+{\theta }_1{ϵ}_{t-1}+\cdots +{\theta }_q{ϵ}_{t-q}$

ARMA(p,q)模型： $X_t={\varphi }_1{X}_{t-1}+\cdots +{\varphi }_p{X}_{t-p}+{ϵ}_t+{\theta }_1{ϵ}_{t-1}+\cdots +{\theta }_q{ϵ}_{t-q}$

平稳性条件：AR特征多项式根在单位圆外。

可逆性条件：MA特征多项式根在单位圆外。

12.2 季节性模型

SARIMA模型（季节性ARIMA）：

$\text{SARIMA}(p,d,q)\times (P,D,Q{)}_s$

${\Phi }_P(B^s){\varphi }_p(B)(1-B{)}^d(1-B^s{)}^D{X}_t={\Theta }_Q(B^s){\theta }_q(B){ϵ}_t$

其中 $s$ 是季节周期（如 12 表示月度数据的年度季节性）。

傅里叶项方法： $X_t={\sum }_{k=1}^K\left[{\alpha }_k\cos (2\pi kt/s)+{\beta }_k\sin (2\pi kt/s)\right]+\text{ARMA}(p,q)$

12.3 状态空间模型与卡尔曼滤波

状态空间模型：

观测方程：$Y_t=H_t{\theta }_t+v_t$ 状态方程：${\theta }_t=F_t{\theta }_{t-1}+w_t$

卡尔曼滤波：

递归估计最优状态： ${\hat{\theta }}_{t|t-1}=F_t{\hat{\theta }}_{t-1|t-1}$ $P_{t|t-1}=F_t{P}_{t-1|t-1}{F}_t^T+Q_t$ $K_t=P_{t|t-1}{H}_t^T(H_t{P}_{t|t-1}{H}_t^T+R_t{)}^{-1}$ ${\hat{\theta }}_{t|t}={\hat{\theta }}_{t|t-1}+K_t(Y_t-H_t{\hat{\theta }}_{t|t-1})$ $P_{t|t}=(I-K_t{H}_t)P_{t|t-1}$

12.4 谱分析与频率域方法

谱密度函数： $\gamma (h)=\text{Cov}(X_t,X_{t+h})$ $f(\omega )={\sum }_{h=-\infty }^{\infty }\gamma (h)e^{-i\omega h}$

周期图（谱密度估计）： $I(\omega )=\frac{1}{2\pi n}{\left|{\sum }_{t=1}^n{X}_t{e}^{-i\omega t}\right|}^2$

平滑周期图：使用谱窗平滑周期图得到一致估计。

交叉谱分析两个时间序列的频率关系。

---

十三、多元统计方法

13.1 判别分析

线性判别分析（LDA）：

设 $Y\in \{1,2\}$ 是类别，$X\in {\mathbb{R}}^p$ 是特征。

贝叶斯判别规则： $P(Y=1|X)\propto {\pi }_1{f}_1(X),P(Y=2|X)\propto {\pi }_2{f}_2(X)$

若 $f_k(X)=\mathcal{N}({\mu }_k,\Sigma )$，则： ${\delta }_k(X)=X^T{\Sigma }^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }^{-1}{\mu }_k+\log {\pi }_k$

决策边界是 $X$ 的线性函数。

二次判别分析（QDA）：

若各类协方差矩阵不同 ${\Sigma }_k$，则决策边界是二次的。

13.2 典型相关分析

典型相关分析（CCA）研究两组变量之间的相关性。

设 $X\in {\mathbb{R}}^p$，$Y\in {\mathbb{R}}^q$，寻找线性组合： $U=a^{T}X,V=b^{T}Y$

最大化 $\text{Corr}(U,V)$。

典型相关系数 ${\rho }_1\ge {\rho }_2\ge \cdots \ge {\rho }_{\min (p,q)}$。

典型变量是原始变量的最优压缩，同时保留两组间的相关性。

13.3 多维标度分析

度量MDS：

给定距离矩阵 $D=(d_{ij})$，寻找嵌入点 $z_1,\dots ,z_n\in {\mathbb{R}}^k$ 使得： $\Vert z_i-z_j\Vert \approx d_{ij}$

Stress函数： $\text{Stress}(Z)=\sqrt{\frac{{\sum }_{i<j}(d_{ij}-\Vert z_i-z_j\Vert {)}^2}{{\sum }_{i<j}{d}_{ij}^2}}$

非度量MDS（Kruskal-Shephard）：

仅保留距离的单调性： ${\hat{d}}_{ij}=f(d_{ij})$

其中 $f$ 是单调函数。

13.4 对应分析

对应分析（Correspondence Analysis）：

分析行×列表的关联性。

将列联表归一化后进行奇异值分解： $X=U\Sigma V^T$

可视化行和列点在同一低维空间中。

---

十四、生存分析

14.1 生存函数与风险函数

生存函数：$S(t)=P(T>t)$

非参数估计（Kaplan-Meier）： $\hat{S}(t)={\prod }_{t_i\le t}\frac{n_i-d_i}{n_i}$

其中 $n_i$ 是时刻 $t_i$ 前的风险集大小，$d_i$ 是死亡数。

风险函数： $h(t)={\lim }_{\Delta t\to 0}\frac{P(t\le T<t+\Delta t|T\ge t)}{\Delta t}=\frac{f(t)}{S(t)}$

14.2 Cox比例风险模型

Cox模型： $h(t|X)=h_0(t)\exp ({\beta }^{T}X)$

其中 $h_0(t)$ 是基准风险函数，$\beta$ 是回归系数。

部分似然（不依赖基准风险）： $\mathcal{L}(\beta )={\prod }_{i:{\delta }_i=1}\frac{\exp ({\beta }^T{X}_i)}{{\sum }_{j\in R(t_i)}\exp ({\beta }^T{X}_j)}$

PH假设检验：$\log (-\log S(t))$ 应平行。

14.3 加速失效模型

加速失效模型（AFT）： $\log T={\beta }^{T}X+ϵ$

相当于对数线性模型。

常见的误差分布：

• 指数分布 $\Rightarrow$ 指数回归
• Weibull分布 $\Rightarrow$ Weibull回归
• 对数正态分布 $\Rightarrow$ 对数正态回归

14.4 竞争风险

竞争风险：多个事件类型，任何一个发生阻止其他事件发生。

累积发生函数（CIF）： ${\hat{F}}_k(t)={\sum }_{t_i\le t}\hat{P}(T=t_i,K=k)$

Fine-Gray模型： $h_k(t)=h_{0k}(t)\exp ({\beta }_k^{T}X)$

建模子分布风险（特定原因风险）。

---

十五、统计决策理论

15.1 统计决策框架

统计决策理论将统计推断形式化为决策问题。

决策问题的三个要素：

1. 状态空间 $\Theta$：可能的参数值
2. 行动空间 $\mathcal{A}$：可采取的行动
3. 损失函数 $L(\theta ,a)$：采取行动 $a$ 而真实参数为 $\theta$ 时的损失

风险函数： $R(\theta ,\delta )={\mathbb{E}}_{\theta }[L(\theta ,\delta (X))]$

贝叶斯风险： $r(\pi ,\delta )={\mathbb{E}}_{\pi }[R(\theta ,\delta )]=\int R(\theta ,\delta )\pi (\theta )d\theta$

15.2 决策准则

极小化极大准则（Minimax）： ${\delta }^{\ast }=\arg {\min }_{\delta }{\sup }_{\theta \in \Theta }R(\theta ,\delta )$

在所有策略中，选择使最大风险最小的策略。

贝叶斯准则： ${\delta }^{\ast }=\arg {\min }_{\delta }r(\pi ,\delta )$

对于给定的先验分布 $\pi$，选择使贝叶斯风险最小的策略。

** admissible 决策函数**： 若不存在另一个决策函数 ${\delta }^{\prime }$ 使得 $R(\theta ,{\delta }^{\prime })\le R(\theta ,\delta )$ 对所有 $\theta$，且至少一处严格不等式，则 $\delta$ 是 admissible 的。

15.3 最优决策规则

完全类与本质完全类：

• 完全类：每个决策函数都被某个 Bayes 决策函数支配
• 本质完全类：存在完全类

指数族分布的容许性：

对于指数族分布，在平方损失下，均值估计是 admissible 的。

Stein现象：

在多元正态均值估计中，当维度 $p\ge 3$ 时，James-Stein估计比MLE更优。

15.4 贝叶斯决策与后验风险

后验风险： $r_{\text{post}}(\delta |x)=\mathbb{E}[L(\theta ,\delta )|X=x]$

贝叶斯决策规则： ${\delta }_{\pi }(x)=\arg {\min }_{a\in \mathcal{A}}{r}_{\text{post}}(a|x)$

共轭先验与贝叶斯决策：

对于平方损失，Bayes估计是后验均值： ${\delta }_{\pi }(x)=\mathbb{E}[\theta |X=x]$

对于0-1损失，Bayes估计是后验众数（MAP）。

---

十六、模型选择理论

16.1 过拟合与欠拟合

训练误差： ${\hat{R}}_S(h)=\frac{1}{n}{\sum }_{i=1}^n{1}_{h(x_i)\ne y_i}$

泛化误差： $R(h)=\mathbb{E}[1_{h(X)\ne Y}]$

过拟合：训练误差小，泛化误差大 欠拟合：训练误差和泛化误差都大

16.2 偏差-方差分解（决策理论视角）

对于平方损失 $L(Y,f(X))=(Y-f(X){)}^2$： $R(f)={\sigma }^2+{\text{Bias}}^2(f)+\text{Var}(f)$

• 方差：模型对训练数据的敏感度
• 偏差：模型假设与真实函数的差距
• ** irreducible error**：噪声引起的误差

16.3 结构风险最小化

经验风险最小化（ERM）： $\hat{f}=\arg {\min }_{f\in \mathcal{F}}{\hat{R}}_S(f)$

VC维正则化界： $R(f)\le {\hat{R}}_S(f)+\sqrt{\frac{d(\log (2n/d)+1)-\log (\delta /4)}{n}}$

其中 $d=\text{VCdim}(\mathcal{F})$。

结构风险最小化（SRM）：

将假设空间划分为嵌套结构： ${\mathcal{F}}_1\subset {\mathcal{F}}_2\subset \cdots$

在每个子空间中选择使经验风险最小的模型，然后选择最优子空间。

16.4 信息准则

AIC（Akaike Information Criterion）： $\text{AIC}=-2\log L(\hat{\theta })+2k$

其中 $k$ 是参数个数。

BIC（Bayesian Information Criterion）： $\text{BIC}=-2\log L(\hat{\theta })+k\log n$

选择比较：

• AIC：在样本量大时渐近选择真实模型
• BIC：在大样本下选择正确维度模型
• 两者在模型嵌套时选择不同

---

十七、高维统计推断

17.1 高维问题的挑战

“维度灾难”： 当维度 $p$ 接近或超过样本量 $n$ 时，传统统计方法失效。

稀疏性假设： 在高维问题中，假设只有少数变量真正相关。

符号：

• $p$：变量个数
• $n$：样本量
• $s$：非零系数的个数（稀疏度）

17.2 稀疏估计方法

Lasso（Least Absolute Shrinkage and Selection Operator）： ${\hat{\beta }}^{\text{lasso}}=\arg {\min }_{\beta }\Vert y-X\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_1$

岭回归： ${\hat{\beta }}^{\text{ridge}}=\arg {\min }_{\beta }\Vert y-X\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_2^2$

Elastic Net： ${\hat{\beta }}^{\text{enet}}=\arg {\min }_{\beta }\Vert y-X\beta {\Vert }_2^2+{\lambda }_1\Vert \beta {\Vert }_1+{\lambda }_2\Vert \beta {\Vert }_2^2$

17.3 Oracle性质

Oracle性质：

在一定条件下（如 irrepresentable 条件），Lasso 可以：

1. 正确识别非零系数的子集（变量选择一致性）
2. 以与知道真实稀疏结构的估计器相同的速率估计非零系数

Irrepresentable条件： ${\max }_j{\Vert (X_{-j}^T{X}_{-j}{)}^{-1}{X}_{-j}^T{X}_j\Vert }_1<1$

这是 Lasso 变量选择一致性的必要条件。

17.4 Cross-Validation与调参

K折交叉验证：

将数据划分为 $K$ 个大小相等的折： ${\hat{R}}_{CV}=\frac{1}{K}{\sum }_{k=1}^K{\hat{R}}^{(k)}$

留一交叉验证（LOOCV）： $n\to n,K=n$

稳定选择： 多次交叉验证，选择被一致选择的变量。

---

十八、函数数据分析

18.1 函数数据的表示

函数数据是观测本身是函数形式的数据： $x_i(t),t\in \mathcal{T}$

基函数展开： $x_i(t)={\sum }_{k=1}^K{c}_{ik}{\varphi }_k(t)$

常用基函数：

• Fourier基（周期性数据）
• B样条基（非周期性数据）
• 小波基（多尺度分析）

18.2 函数主成分分析

函数主成分是函数空间的PCA扩展。

主成分分数： ${\xi }_{ik}={\int }_0^T{x}_i(t){\varphi }_k(t)dt$

重构： ${\hat{x}}_i(t)={\sum }_{k=1}^K{\xi }_{ik}{\varphi }_k(t)$

18.3 函数线性模型

函数响应模型： $y_i={\int }_0^T{x}_i(t)\beta (t)dt+{ϵ}_i$

函数预测模型： $y_i(t)=x_i(t{)}^T\beta +{ϵ}_i(t)$

18.4 动态函数数据分析

函数时间序列： $x_1(t),x_2(t),\dots ,x_T(t)$

函数AR模型： $x_{t+1}(t)=\int \Phi (s,t)x_s(s)ds+{ϵ}_t(t)$

---

十九、统计计算方法

19.1 梯度下降与随机梯度下降

梯度下降： ${\theta }^{(t+1)}={\theta }^{(t)}-{\eta }_t\nabla \mathcal{L}({\theta }^{(t)})$

随机梯度下降（SGD）： ${\theta }^{(t+1)}={\theta }^{(t)}-{\eta }_t{\nabla }_{\theta }\log p(x_i|\theta )$

使用单个样本或小批量估计梯度。

收敛性条件：

• 学习率衰减：${\sum }_t{\eta }_t=\infty$，${\sum }_t{\eta }_t^2<\infty$
• 步长调度：指数衰减、余弦退火

19.2 坐标下降法

坐标下降： 固定其他坐标，依次优化每个坐标： ${\theta }_j^{(t+1)}=\arg {\min }_{{\theta }_j}\mathcal{L}({\theta }_1^{(t+1)},\dots ,{\theta }_j,\dots ,{\theta }_p^{(t)})$

Lasso的坐标下降：

对Lasso问题，坐标下降有闭式解： ${\theta }_j\leftarrow S\left({\tilde{\theta }}_j,\lambda \right)$

其中 $S$ 是软阈值算子。

19.3 牛顿法与拟牛顿法

牛顿法： ${\theta }^{(t+1)}={\theta }^{(t)}-H^{-1}\nabla \mathcal{L}({\theta }^{(t)})$

其中 $H={\nabla }^2\mathcal{L}$ 是Hessian矩阵。

计算挑战：Hessian矩阵的存储和求逆是 $O(p^2)$ 和 $O(p^3)$。

拟牛顿法： 用近似Hessian $B_t$ 替代真实Hessian： $B_{t+1}=B_t+\frac{y_t{y}_t^T}{y_t^T{s}_t}-\frac{B_t{s}_t{s}_t^T{B}_t}{s_t^T{B}_t{s}_t}$

其中 $y_t=\nabla \mathcal{L}({\theta }^{(t+1)})-\nabla \mathcal{L}({\theta }^{(t)})$，$s_t={\theta }^{(t+1)}-{\theta }^{(t)}$。

19.4 置信域方法

置信域方法： 在每一步，在信任域内寻找最优步长： ${\min }_m\mathcal{L}({\theta }_k+s)\text{s.t.}\Vert s\Vert \le {\Delta }_k$

Dogleg方法： 结合最速下降和高斯-牛顿方向。

---

二十、统计学的哲学与方法论

20.1 统计推断的逻辑基础

归纳推理的问题：

统计推断是从样本到总体的归纳推理。这种推理天然是不确定的。

Fisher的显著性检验：

• 提出无效假设 $H_0$
• 计算检验统计量
• 评估 $p$ 值

Neyman-Pearson的假设检验：

• 明确原假设和备择假设
• 控制第一类和第二类错误
• 构造最优检验

20.2 统计模型的选择

奥卡姆剃刀： 在解释能力相同的情况下，选择更简单的模型。

似然原理： 所有关于 $\theta$ 的证据都包含在似然函数中。

条件原理： 推断应该基于设计的实验条件。

20.3 统计学中的争议

Fisher vs Neyman-Pearson：

• Fisher强调显著性检验
• Neyman-Pearson强调假设检验的控制

频率主义 vs 贝叶斯主义：

• 概率的解释
• 先验分布的选择
• 渐近行为的意义

20.4 现代统计学的趋势

计算统计：

• MCMC方法
• Bootstrap方法
• 机器学习方法

大数据统计学：

• 高维推断
• 在线学习
• 分布式计算

可重复研究：

• 开放数据
• 预注册
• 同行评审

---

参考文献

1. Lehmann, E. L., & Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer.
2. Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury Press.
3. Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.
4. McLachlan, G. J., & Krishnan, T. (2008). The EM Algorithm and Extensions (2nd ed.). Wiley.
5. Wasserman, L. (2010). All of Statistics: A Concise Course in Statistical Inference. Springer.
6. Vapnik, V. N. (1998). Statistical Learning Theory. Wiley.
7. Pearl, J. (2009). Causality: Models, Reasoning, and Inference (2nd ed.). Cambridge University Press.
8. Box, G. E. P., Jenkins, G. M., & Reinsel, G. C. (2015). Time Series Analysis: Forecasting and Control (5th ed.). Wiley.
9. Friedman, J., Hastie, T., & Tibshirani, R. (2001). The Elements of Statistical Learning (2nd ed.). Springer.
10. Hernán, M. A., & Robins, J. M. (2020). Causal Inference: What If. CRC Press.
11. Bickel, P. J., & Doksum, K. A. (2015). Mathematical Statistics: Basic Ideas and Selected Topics (2nd ed.). CRC Press.
12. Lehmann, E. L., & Romano, J. P. (2005). Testing Statistical Hypotheses (3rd ed.). Springer.
13. van der Vaart, A. W. (1998). Asymptotic Statistics. Cambridge University Press.
14. Hastie, T., Tibshirani, R., & Wainwright, M. (2015). Statistical Learning with Sparsity. CRC Press.
15. Efron, B., & Tibshirani, R. J. (1994). An Introduction to the Bootstrap. CRC Press.

---

相关文档

• 概率论深度指南 - 概率空间、随机变量与分布的数学基础
• 信息论深度指南 - 熵与互信息在统计推断中的应用
• 凸优化深度指南 - MLE求解的优化理论基础
• 机器学习理论 - PAC学习与统计学习理论
• 因果推断 - 因果图模型与潜在结果框架
• 时间序列分析 - ARMA模型与状态空间方法