# 一元方差分析 ANOVA

对于多个总体数据，有时需要考察它们的均值是否存在显著差异
例如，比较不同教学方法对学生成绩的影响，或者不同药物对患者康复的效果

方差分析 (Analysis of Variance, ANOVA) 是一种用于比较多个样本均值是否存在显著差异的统计方法
其基本思想是将总变异分解为组间变异和组内变异两部分，通过比较这两部分的变异来判断组均值是否存在显著差异

考虑 $k$ 个正态总体，总体方差可以未知，此处假设相等，即 $\Pi_i: N(\mu_i, \sigma^2)$

设置原假设

$$H_0: \mu_1 = \mu_2 = \cdots = \mu_k$$

即，问题为 考察各总体均值是否相等

从 $k$ 个总体中各自取 $n_i$ 个样本

$$X_{i1}, X_{i2}, \dots, X_{in_i}, \quad i=1,2,\dots,k$$

第一个下标指示总体编号，第二个下标指示样本编号

那么对于各个总体，有

$$\frac{1}{\sigma^2}\displaystyle\sum_{j=1}^{n_i}(X_{ij} - \overline X_i)^2 \sim \chi^2_{n_i - 1}$$

其中 $\overline X_i = \dfrac{1}{n_i}\displaystyle\sum_{j=1}^{n_i} X_{ij}$ 为第 $i$ 个样本的样本平均

利用 $\chi^2$ 分布的可加性，有

$$\frac{1}{\sigma^2}\displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X_i)^2 \sim \chi^2_{\left(\displaystyle\sum_{i=1}^{k}(n_i - 1)\right)} = \chi^2_{n - k}$$

其中 $n = \displaystyle\sum_{i=1}^{k} n_i$ 为总样本量

现在，如果原假设 $H_0$ 成立，那么各样本来自同一总体（均值和方差都相等）
所以可以将样本视作从 $N(\mu, \sigma^2)$ 中抽取的，数量为 $n = \displaystyle\sum_{i=1}^{k} n_i$ 的样本
同样可以制作服从 $\chi^2$ 分布的统计量

$$\frac{1}{\sigma^2}\displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X)^2 \sim \chi^2_{n - 1}$$

其中 $\overline X = \dfrac{1}{n}\displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i} X_{ij}$ 为所有样本的总体平均

为了实际分析各组数据分散情况，定义三组平方和

• 组间变异平方和 (Sum of Squares Between, SSB)「級間変動」
• 组内变异平方和 (Sum of Squares Within, SSW)「級内変動」
• 总变异平方和 (Total Sum of Squares, TSS)「全変動」

令 $s_i$ 为第 $i$ 组样本的标准差

$$S_1 = SSB = \displaystyle\sum_{i=1}^{k} n_i (\overline X_i - \overline X)^2$$

$$S_2 = SSW = \displaystyle\sum_{i=1}^{k} (n_i - 1) s_i^2 = \displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X_i)^2$$

$$S = TSS = \displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X)^2$$

此时容易证明以下等式

$$S = S_1 + S_2$$

由于第 $i$ 组样本的组内数据差异 $X_{ij} - \overline X_i$ 独立于其平均 $\overline X_i$
并且 $\overline X_i$ 实际上是 $X_{ij}$ 的函数
所以可以进一步得到与总平均的独立性，即 $X_{ij} - \overline X_i$ 独立于 $\overline X$
因此 $S_1$ 与 $S_2$ 独立，考虑等式

$$\frac{S}{\sigma^2} = \frac{S_1}{\sigma^2} + \frac{S_2}{\sigma^2}$$

此时

• 等式左侧服从 $\chi^2_{n - 1}$ 分布
• 等式右侧互相独立，第二项服从 $\chi^2_{n - k}$ 分布

那么，右侧第一项必然服从 $\chi^2_{k - 1}$ 分布

因此，可以构造服从 $F$ 分布的统计量

$$F = \frac{S_1/(k - 1)\sigma^2}{S_2/(n - k)\sigma^2} = \frac{S_1(n-k)}{S_2(k - 1)} \sim F_{k - 1, n - k}$$

推导基于假设：原假设 $H_0$ 成立，即各总体均值相等
所以 $F$ 统计量可以用于检验该假设

根据 $F$ 分布的性质，可以通过查表得到临界值 $F_{k - 1, n - k}(\alpha)$
如果计算得到的 $F$ 统计量大于该临界值，则拒绝原假设 $H_0$，认为各总体均值存在显著差异
否则，不拒绝原假设 $H_0$，认为各总体均值无显著差异

实际上，如果原假设 $H_0$ 不成立，那么组间变异 $S_1$ 显著增大的情况下，组内变异 $S_2$ 相对较小
因此 $F$ 统计量会显著增大，从而更容易超过临界值，导致拒绝原假设 $H_0$
由 $F$ 分布的统计量来判断是否拒绝原假设 $H_0$ 是合理的做法

在危险度 $\alpha$ 下

• 若 $F \gt F_{k - 1, n - k}(\alpha)$，则拒绝原假设 $H_0$，认为各总体均值存在显著差异
• 若 $F \leq F_{k - 1, n - k}(\alpha)$，则不拒绝原假设 $H_0$，认为各总体均值无显著差异