Home 数学 数理统计

统计推断 (Statistical Inference) 是数理统计的核心内容
目前通过样本的选取与样本量的计算，可以得到

  • 样本平均

X‾n=1n∑i=1nXi\overline X_n = \frac{1}{n} \sum_{i=1}^n X_i

  • 样本方差

S2=1n−1∑i=1n(Xi−X‾n)2S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \overline X_n)^2

自然，这些样本统计量会被期待与接近总体参数，但是重点在于究竟有多接近
由于总体参数是不可知的，所以推断统计无法判断得到类似 “总体平均是 X‾n\overline X_n” 这样的结论
而是得到类似 “总体平均应该很接近 X‾n\overline X_n”

通常有两个方向：点估计与区间估计

# 点估计

目标：构造总体参数的单值估计

通常采取的方法有

  • 无偏估计
  • 最小方差无偏估计
  • 一致估计
  • 极大似然估计

# 无偏估计

考虑如下一般情况
针对某总体参数 θ\theta
若某样本统计量 θ^=θ^(X1,X2,…,Xn)\hat \theta = \hat \theta(X_1, X_2, \ldots, X_n) 服从的概率分布的期望值为 θ\theta，即

E[θ^]=θE[\hat \theta] = \theta

则称 θ^\hat \theta 为 θ\theta 的 无偏估计量 (Unbiased Estimator)「不偏推定量」

命题
总体平均 μ\mu 和总体方差 σ2\sigma^2 的无偏估计量分别为

μ^=X‾n=1n∑i=1nXi\hat \mu = \overline X_n = \frac{1}{n} \sum_{i=1}^n X_i

σ^2=S2=1n−1∑i=1n(Xi−X‾n)2\hat \sigma^2 = S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \overline X_n)^2

# 最小方差无偏估计

无偏估计量只要求期望值一致。直观上也能明白：可以做出许多种不同的分布但是期望值相同的估计量
为了进一步限制估计量的准确性，定义
针对总体参数 θ\theta 的所有无偏估计量当中，方差最小的估计量称为 θ\theta 的 最小方差无偏估计 (Minimum Variance Unbiased Estimator, MVUE)「最小分散不偏推定量」

# 一致估计

此外，还可以依据一致性来进一步筛选估计量
若某推定量 θ^\hat \theta 对于任意 ε>0\varepsilon > 0 都满足

lim⁡n→∞P(∣θ^−θ∣≥ε)=0\lim_{n \to \infty} P(|\hat \theta - \theta| \geq \varepsilon) = 0

则称 θ^\hat \theta 为 θ\theta 的 一致估计量 (Consistent Estimator)「一致推定量」

# 极大似然估计

极大似然估计法 (Maximum Likelihood Estimation, MLE) 是一种基于 “最可能发生” 原则的参数估计方法。
设样本 X1,X2,…,XnX_1, X_2, \ldots, X_n 来自密度函数 f(x;θ)f(x; \theta) 的总体
其中 θ\theta 为未知参数。则样本的联合密度函数

L(θ)=L(X1,X2,…,Xn;θ)=∏i=1nf(Xi;θ)L(\theta) = L(X_1, X_2, \ldots, X_n ; \theta) = \prod_{i=1}^n f(X_i; \theta)

称为样本的 似然函数 (Likelihood Function)「尤度関数」

极大似然估计法的目标是找到使得似然函数 L(θ)L(\theta) 取最大值的 θ\theta，记为 θ^\hat \theta，称为 θ\theta 的 极大似然估计量 (Maximum Likelihood Estimator)「最尤推定量」

  • 实际计算中，通常对似然函数取对数 ln⁡L(θ)\ln L(\theta)，将乘积转化为求和，然后令导数为 00 求解：

ddθln⁡L(θ)=0\frac{d}{d\theta} \ln L(\theta) = 0

# 区间估计

目标：给出参数可能范围的置信区间

区间估计需要先取一个 显著性水平 (Significance Level)「有意水準」 α\alpha
通常来说取 5%5\% 或 1%1\%，表示允许有 5%5\% 或 1%1\% 的概率错误，对应的 置信水平 (Confidence Level)「信頼係数」 为 1−α1-\alpha

在此系数下计算得到的区间称为 置信区间 (Confidence Interval)「信頼区間」
也就是说，对于总体参数 θ\theta，通过样本计算得到的置信区间 [L,U][L, U] 满足

P(L≤θ≤U)=1−αP(L \leq \theta \leq U) = 1 - \alpha

# 估计总体平均（已知总体方差）

核心是进行标准化得到服从标准正态分布的统计量

考虑服从正态分布的总体 N(μ,σ2)N(\mu, \sigma^2)，其中 σ2\sigma^2 已知，目标是推测总体平均 μ\mu

注意，即使对于非正态分布，也可以基于中心极限定理，在样本量足够大的情况下使用此方法

取样本 X1,X2,…,XnX_1, X_2, \ldots, X_n，计算得到样本平均 X‾n\overline X_n，此时 X‾n∼N(μ,σ2n)\overline X_n \sim N(\mu, \frac{\sigma^2}{n})，则

Z=X‾n−μσ/n∼N(0,1)Z = \frac{\overline X_n - \mu}{\sigma / \sqrt{n}} \sim N(0,1)

此时利用标准正态分布表，查出双侧 α\alpha 分位点 zα/2z_{\alpha/2}（即 P(Z>zα/2)=α/2P(Z > z_{\alpha/2}) = \alpha/2），则有

P(−zα/2≤Z≤zα/2)=1−αP\left(-z_{\alpha/2} \leq Z \leq z_{\alpha/2}\right) = 1 - \alpha

代入 ZZ 的表达式，得到

P(X‾n−zα/2σn≤μ≤X‾n+zα/2σn)=1−αP\left(\overline X_n - z_{\alpha/2} \frac{\sigma}{\sqrt{n}} \leq \mu \leq \overline X_n + z_{\alpha/2} \frac{\sigma}{\sqrt{n}}\right) = 1 - \alpha

此时区间 [X‾n−zα/2σn,X‾n+zα/2σn]\left[\overline X_n - z_{\alpha/2} \frac{\sigma}{\sqrt{n}},\quad \overline X_n + z_{\alpha/2} \frac{\sigma}{\sqrt{n}}\right] 即为 μ\mu 的置信水平 1−α1-\alpha 下的置信区间

# 估计总体平均（未知总体方差）

核心是利用 t 分布进行估计，使用无偏方差 S2S^2 作为代替

取样本 X1,X2,…,XnX_1, X_2, \ldots, X_n，此时

t=X‾n−μS2/n∼t(n−1)t = \frac{\overline X_n - \mu}{\sqrt{S^2 / n}} \sim t(n-1)

利用 t 分布表，查出双侧 α\alpha 分位点 tα/2(n−1)t_{\alpha/2}(n-1)，则有

P(−tα/2(n−1)≤t≤tα/2(n−1))=1−αP\left(-t_{\alpha/2}(n-1) \leq t \leq t_{\alpha/2}(n-1)\right) = 1 - \alpha

代入得到

P(X‾n−tα/2(n−1)S2n≤μ≤X‾n+tα/2(n−1)S2n)=1−αP\left(\overline X_n - t_{\alpha/2}(n-1) \sqrt{\frac{S^2}{n}} \leq \mu \leq \overline X_n + t_{\alpha/2}(n-1) \sqrt{\frac{S^2}{n}}\right) = 1 - \alpha

此时区间 [X‾n−tα/2(n−1)S2n,X‾n+tα/2(n−1)S2n]\left[\overline X_n - t_{\alpha/2}(n-1) \sqrt{\frac{S^2}{n}},\quad \overline X_n + t_{\alpha/2}(n-1) \sqrt{\frac{S^2}{n}}\right] 即为 μ\mu 的置信水平 1−α1-\alpha 下的置信区间

# 估计总体比例

核心是利用二项分布的正态近似

总体比例指的是，总体中满足某一特征（属于集合 AA）的个体所占的比例，记为 pp

随机取出 nn 个样本，记符合条件的数量

Sn=#{Xi∣Xi∈A,i=1,2,…,n}S_n = \# \{X_i \mid X_i \in A , i = 1, 2, \ldots, n\}

则显然 Sn∼B(n,p)S_n \sim B(n, p)，其样本比例 p^=Snn\hat{p} = \frac{S_n}{n} 的期望为 pp，方差为 \frac{p(1-p)}

利用中心极限定理章节的 De Moivre–Laplace 定理可以知道，在 nn 足够大时

Z=p^−pp(1−p)/n∼N(0,1)Z = \frac{\hat{p} - p}{\sqrt{p(1-p)/n}} \sim N(0,1)

所以问题转回标准正态分布

P(−zα/2≤Z≤zα/2)=1−αP\left(-z_{\alpha/2} \leq Z \leq z_{\alpha/2}\right) = 1 - \alpha

代入 ZZ 的表达式，得到

P(p^−zα/2p(1−p)n≤p≤p^+zα/2p(1−p)n)≈1−αP\left(\hat p - z_{\alpha/2} \sqrt{\frac{p(1-p)}{n}} \leq p \leq \hat p + z_{\alpha/2} \sqrt{\frac{p(1-p)}{n}}\right) \approx 1 - \alpha

虽然总体比例 pp 未知，但是在大样本下，可以用样本比例 p^\hat{p} 近似替代标准误中的 pp（Slutsky 定理），此时置信区间为

[p^−zα/2p^(1−p^)n,p^+zα/2p^(1−p^)n]\left[\hat p - z_{\alpha/2} \sqrt{\frac{\hat p (1 - \hat p)}{n}},\quad \hat p + z_{\alpha/2} \sqrt{\frac{\hat p (1 - \hat p)}{n}}\right]

# 估计总体平均之差（已知总体方差）

核心是借由正态分布的四则性质

考虑两个服从正态分布的总体 N(μ1,σ12)N(\mu_1, \sigma_1^2) 和 N(μ2,σ22)N(\mu_2, \sigma_2^2)，其中 σ12\sigma_1^2 和 σ22\sigma_2^2 已知，目标是推测总体平均之差 μ1−μ2\mu_1 - \mu_2

分别取样本 X1,X2,…,Xn1X_1, X_2, \ldots, X_{n_1} 和 Y1,Y2,…,Yn2Y_1, Y_2, \ldots, Y_{n_2}，则

Z=(X‾n1−Y‾n2)−(μ1−μ2)σ12n1+σ22n2∼N(0,1)Z = \frac{(\overline X_{n_1} - \overline Y_{n_2}) - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}} \sim N(0,1)

同样根据标准正态分布

P(−zα/2≤Z≤zα/2)=1−αP\left(-z_{\alpha/2} \leq Z \leq z_{\alpha/2}\right) = 1 - \alpha

解出 μ1−μ2\mu_1 - \mu_2 的置信区间为

[(X‾n1−Y‾n2)−zα/2σ12n1+σ22n2,(X‾n1−Y‾n2)+zα/2σ12n1+σ22n2]\left[(\overline X_{n_1} - \overline Y_{n_2}) - z_{\alpha/2} \sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}},\quad (\overline X_{n_1} - \overline Y_{n_2}) + z_{\alpha/2} \sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}\right]

# 估计总体平均之差（未知总体方差）

核心是利用 t 分布，但需根据两总体方差是否相等分为两种情况

# 情形 1：假设方差相等 σ12=σ22=σ2\sigma_1^2 = \sigma_2^2 = \sigma^2

此时可以将两组样本的方差合并，计算 合并方差 (Pooled Variance)

Sp2=(n1−1)S12+(n2−1)S22n1+n2−2S_p^2 = \frac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1 + n_2 - 2}

构造统计量

t=(X‾n1−Y‾n2)−(μ1−μ2)Sp1n1+1n2∼t(n1+n2−2)t = \frac{(\overline X_{n_1} - \overline Y_{n_2}) - (\mu_1 - \mu_2)}{S_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2)

置信区间为

[(X‾n1−Y‾n2)±tα/2(n1+n2−2)⋅Sp1n1+1n2]\left[(\overline X_{n_1} - \overline Y_{n_2}) \pm t_{\alpha/2}(n_1+n_2-2) \cdot S_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}\right]

# 情形 2：不假设方差相等 σ12≠σ22\sigma_1^2 \neq \sigma_2^2

此时统计量不再精确服从 t 分布，但可以近似

t=(X‾n1−Y‾n2)−(μ1−μ2)S12n1+S22n2≈t(ν)t = \frac{(\overline X_{n_1} - \overline Y_{n_2}) - (\mu_1 - \mu_2)}{\sqrt{\frac{S_1^2}{n_1} + \frac{S_2^2}{n_2}}} \approx t(\nu)

其中自由度 ν\nu 由 Welch–Satterthwaite 公式 给出（通常取整）

ν≈(S12n1+S22n2)2(S12/n1)2n1−1+(S22/n2)2n2−1\nu \approx \frac{\left(\frac{S_1^2}{n_1} + \frac{S_2^2}{n_2}\right)^2}{\frac{(S_1^2/n_1)^2}{n_1-1} + \frac{(S_2^2/n_2)^2}{n_2-1}}

置信区间为

[(X‾n1−Y‾n2)±tα/2(ν)S12n1+S22n2]\left[(\overline X_{n_1} - \overline Y_{n_2}) \pm t_{\alpha/2}(\nu) \sqrt{\frac{S_1^2}{n_1} + \frac{S_2^2}{n_2}}\right]

# 估计总体方差（已知总体平均）

核心是利用卡方分布

考虑服从正态分布的总体 N(μ,σ2)N(\mu, \sigma^2)，其中 μ\mu 已知，目标是推测总体方差 σ2\sigma^2

取样本 X1,X2,…,XnX_1, X_2, \ldots, X_n，则

χ2=∑i=1n(Xi−μ)2σ2∼χ2(n)\chi^2 = \frac{\sum_{i=1}^n (X_i - \mu)^2}{\sigma^2} \sim \chi^2(n)

注意：此处因为 μ\mu 已知，没有消耗自由度，故为 nn

利用卡方分布表，查出两侧 α\alpha 分位点 χ1−α/22(n)\chi^2_{1-\alpha/2}(n) 和 χα/22(n)\chi^2_{\alpha/2}(n)（注意卡方分布不对称），则有

P(χ1−α/22(n)≤χ2≤χα/22(n))=1−αP\left(\chi^2_{1-\alpha/2}(n) \leq \chi^2 \leq \chi^2_{\alpha/2}(n)\right) = 1 - \alpha

代入 χ2\chi^2 的表达式，置信区间为

[∑i=1n(Xi−μ)2χα/22(n),∑i=1n(Xi−μ)2χ1−α/22(n)]\left[\frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi^2_{\alpha/2}(n)},\quad \frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi^2_{1-\alpha/2}(n)}\right]

# 估计总体方差（未知总体平均）

核心是 Fisher-Cochran 定理

定理 Fisher-Cochran 定理
对于来自正态总体 N(μ,σ2)N(\mu, \sigma^2) 的样本 X1,X2,…,XnX_1, X_2, \ldots, X_n

∑i=1n(Xi−X‾n)2σ2=(n−1)S2σ2∼χ2(n−1)\frac{\sum_{i=1}^n (X_i - \overline X_n)^2}{\sigma^2} = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)

且 (n−1)S2(n-1)S^2 与 X‾n\overline X_n 相互独立

利用此定理，可以实现不使用总体平均的前提下估计总体方差

取样本 X1,X2,…,XnX_1, X_2, \ldots, X_n，则

χ2=(n−1)S2σ2∼χ2(n−1)\chi^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)

利用卡方分布表，查出两侧 α\alpha 分位点 χ1−α/22(n−1)\chi^2_{1-\alpha/2}(n-1) 和 χα/22(n−1)\chi^2_{\alpha/2}(n-1)，则有

P(χ1−α/22(n−1)≤χ2≤χα/22(n−1))=1−αP\left(\chi^2_{1-\alpha/2}(n-1) \leq \chi^2 \leq \chi^2_{\alpha/2}(n-1)\right) = 1 - \alpha

代入 χ2\chi^2 的表达式，得到 σ2\sigma^2 的置信区间为

[(n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1)]\left[\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\quad \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right]

内容已经过 Gemini 3.0 Pro 审查