# 一元方差分析 ANOVA

对于多个总体数据，有时需要考察它们的均值是否存在显著差异
例如，比较不同教学方法对学生成绩的影响，或者不同药物对患者康复的效果

方差分析 (Analysis of Variance, ANOVA) 是一种用于比较多个样本均值是否存在显著差异的统计方法
其基本思想是将总变异分解为组间变异和组内变异两部分，通过比较这两部分的变异来判断组均值是否存在显著差异

考虑 $k$ 个正态总体，总体方差可以未知，此处假设相等，即 $\Pi_i: N(\mu_i, \sigma^2)$

设置原假设

$$H_0: \mu_1 = \mu_2 = \cdots = \mu_k$$

即，问题为 考察各总体均值是否相等

从 $k$ 个总体中各自取 $n_i$ 个样本

$$X_{i1}, X_{i2}, \dots, X_{in_i}, \quad i=1,2,\dots,k$$

第一个下标指示总体编号，第二个下标指示样本编号

那么对于各个总体，有

$$\frac{1}{\sigma^2}\displaystyle\sum_{j=1}^{n_i}(X_{ij} - \overline X_i)^2 \sim \chi^2_{n_i - 1}$$

其中 $\overline X_i = \dfrac{1}{n_i}\displaystyle\sum_{j=1}^{n_i} X_{ij}$ 为第 $i$ 个样本的样本平均

利用 $\chi^2$ 分布的可加性，有

$$\frac{1}{\sigma^2}\displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X_i)^2 \sim \chi^2_{\left(\displaystyle\sum_{i=1}^{k}(n_i - 1)\right)} = \chi^2_{n - k}$$

其中 $n = \displaystyle\sum_{i=1}^{k} n_i$ 为总样本量

现在，如果原假设 $H_0$ 成立，那么各样本来自同一总体（均值和方差都相等）
所以可以将样本视作从 $N(\mu, \sigma^2)$ 中抽取的，数量为 $n = \displaystyle\sum_{i=1}^{k} n_i$ 的样本
同样可以制作服从 $\chi^2$ 分布的统计量

$$\frac{1}{\sigma^2}\displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X)^2 \sim \chi^2_{n - 1}$$

其中 $\overline X = \dfrac{1}{n}\displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i} X_{ij}$ 为所有样本的总体平均

为了实际分析各组数据分散情况，定义三组平方和

• 组间变异平方和 (Sum of Squares Between, SSB)「級間変動」
• 组内变异平方和 (Sum of Squares Within, SSW)「級内変動」
• 总变异平方和 (Total Sum of Squares, TSS)「全変動」

令 $s_i$ 为第 $i$ 组样本的标准差

$$S_1 = SSB = \displaystyle\sum_{i=1}^{k} n_i (\overline X_i - \overline X)^2$$

$$S_2 = SSW = \displaystyle\sum_{i=1}^{k} (n_i - 1) s_i^2 = \displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X_i)^2$$

$$S = TSS = \displaystyle\sum_{i=1}^{k}\sum_{j=1}^{n_i}(X_{ij} - \overline X)^2$$

此时容易证明以下等式

$$S = S_1 + S_2$$

由于第 $i$ 组样本的组内数据差异 $X_{ij} - \overline X_i$ 独立于其平均 $\overline X_i$
并且 $\overline X_i$ 实际上是 $X_{ij}$ 的函数
所以可以进一步得到与总平均的独立性，即 $X_{ij} - \overline X_i$ 独立于 $\overline X$
因此 $S_1$ 与 $S_2$ 独立，考虑等式

$$\frac{S}{\sigma^2} = \frac{S_1}{\sigma^2} + \frac{S_2}{\sigma^2}$$

此时

• 等式左侧服从 $\chi^2_{n - 1}$ 分布
• 等式右侧互相独立，第二项服从 $\chi^2_{n - k}$ 分布

那么，右侧第一项必然服从 $\chi^2_{k - 1}$ 分布

因此，可以构造服从 $F$ 分布的统计量

$$F = \frac{S_1/(k - 1)\sigma^2}{S_2/(n - k)\sigma^2} = \frac{S_1(n-k)}{S_2(k - 1)} \sim F_{k - 1, n - k}$$

推导基于假设：原假设 $H_0$ 成立，即各总体均值相等
所以 $F$ 统计量可以用于检验该假设

根据 $F$ 分布的性质，可以通过查表得到临界值 $F_{k - 1, n - k}(\alpha)$
如果计算得到的 $F$ 统计量大于该临界值，则拒绝原假设 $H_0$，认为各总体均值存在显著差异
否则，不拒绝原假设 $H_0$，认为各总体均值无显著差异

实际上，如果原假设 $H_0$ 不成立，那么组间变异 $S_1$ 显著增大的情况下，组内变异 $S_2$ 相对较小
因此 $F$ 统计量会显著增大，从而更容易超过临界值，导致拒绝原假设 $H_0$
由 $F$ 分布的统计量来判断是否拒绝原假设 $H_0$ 是合理的做法

在危险度 $\alpha$ 下

• 若 $F \gt F_{k - 1, n - k}(\alpha)$，则拒绝原假设 $H_0$，认为各总体均值存在显著差异
• 若 $F \leq F_{k - 1, n - k}(\alpha)$，则不拒绝原假设 $H_0$，认为各总体均值无显著差异

# 回归分析

对于给定的平面上的点集

$$(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)$$

希望找到一个函数 $y = f(x)$，使得这些点尽可能接近该函数的图像
这种方法称为回归分析 (Regression Analysis)

假设直线的形式是

$$y = a x + b$$

那么希望找到对所有的差值

$$|y_i - (a x_i + b)|$$

都最小的系数 $a, b$

为什么用竖直方向的差值而不是点到直线的距离？
实际上 x 方向的点是给定的，目的是尽可能精确的预测 y 的值

定义误差函数

$$l(a, b) = \displaystyle\sum_{i=1}^{n} (y_i - (a x_i + b))^2$$

目标是求出极值点，设偏微分为零

$$\begin{cases} \dfrac{\partial l}{\partial a} = -2 \displaystyle\sum_{i=1}^{n} x_i (y_i - (a x_i + b)) = 0 \\ \dfrac{\partial l}{\partial b} = -2 \displaystyle\sum_{i=1}^{n} (y_i - (a x_i + b)) = 0 \end{cases}$$

整理

$$\begin{cases} a \displaystyle\sum_{i=1}^{n} x_i^2 + b \displaystyle\sum_{i=1}^{n} x_i = \displaystyle\sum_{i=1}^{n} x_i y_i \\ a \displaystyle\sum_{i=1}^{n} x_i + n b = \displaystyle\sum_{i=1}^{n} y_i \end{cases}$$

这是关于 $a, b$ 的二元一次方程组，解得

$$a = \frac{n \displaystyle\sum_{i=1}^{n} x_i y_i - \displaystyle\sum_{i=1}^{n} x_i \displaystyle\sum_{i=1}^{n} y_i}{n \displaystyle\sum_{i=1}^{n} x_i^2 - \left(\displaystyle\sum_{i=1}^{n} x_i\right)^2},\quad b = \frac{\displaystyle\sum_{i=1}^{n} y_i - a \displaystyle\sum_{i=1}^{n} x_i}{n}$$

以下，为了化简 $a, b$
定义样本平均

$$\begin{cases} \overline X = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} x_i \\ \overline Y = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} y_i \end{cases}$$

定义样本方差，协方差

$$\begin{cases} S_{XX} = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} (x_i - \overline X)^2 = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} x_i^2 - \overline X^2 \\ S_{YY} = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} (y_i - \overline Y)^2 = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} y_i^2 - \overline Y^2 \\ S_{XY} = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} (x_i - \overline X)(y_i - \overline Y) = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} x_i y_i - \overline X \cdot \overline Y \end{cases}$$

所以

$$a = \frac{S_{XY}}{S_{XX}},\quad b = \overline Y - a \overline X$$

对于每个 $x_i$，可以计算出对应的预测值

$$\hat y_i = a x_i + b$$

可以算出，预测值的平均和方差分别为

$$\begin{cases} \overline{\hat Y} = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} \hat y_i = \overline Y \\ S_{pp} = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} (\hat y_i - \overline{Y})^2 \end{cases}$$

定义 决定系数 (Coefficient of Determination)「決定係数」

$$R^2 = \frac{S_{pp}}{S_{YY}}$$

误差 (Error)「残差」 $e_i = y_i - \hat y_i$ 的平均和方差

$$\begin{cases} \overline e = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} e_i = \overline Y - a \overline X - b = 0 \\ S_{ee} = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} (e_i - \overline e)^2 = \dfrac{1}{n} \displaystyle\sum_{i=1}^{n} e_i^2 \end{cases}$$

决定系数可以改写为

$$R^2 = \frac{S_{pp}}{S_{YY}} = \frac{S_{YY} - S_{ee}}{S_{YY}} = 1 - \frac{S_{ee}}{S_{YY}}$$

得到 $0 \leq R^2 \leq 1$

• 当 $R^2$ 越接近 $1$ 时，说明预测值 $\hat y_i$ 越接近实际值 $y_i$，回归效果越好
• 当 $R^2$ 越接近 $0$ 时，说明预测值 $\hat y_i$ 与实际值 $y_i$ 差异较大，回归效果较差

# Logistic 回归

在某些情况下，响应变量 $Y$ 是分类变量，而不是连续变量
例如，预测某个病人是否患有某种疾病，响应变量 $Y$ 只能取两个值：$1$（患病）或 $0$（不患病）
这种情况下，传统的线性回归方法不再适用
Logistic 回归 (Logistic Regression) 是一种用于处理分类响应变量的回归方法
其基本思想是通过对数几率 (Log-Odds) 的线性组合来建模响应变量与自变量之间的关系

假设有一个二分类响应变量 $Y$，取值为 $0$ 或 $1$
以及自变量 $X$
Logistic 回归模型假设响应变量 $Y$ 的对数几率与自变量 $X$ 之间存在线性关系

$$\log\left(\frac{P(Y=1|X)}{P(Y=0|X)}\right) = ax + b$$

其中，$P(Y=1|X)$ 表示在给定自变量 $X$ 的条件下，响应变量 $Y$ 取值为 $1$ 的概率
$P(Y=0|X)$ 表示在给定自变量 $X$ 的条件下，响应变量 $Y$ 取值为 $0$ 的概率
$a$ 和 $b$ 是需要估计的参数
通过对上式进行变换，可以得到响应变量 $Y$ 取值为 $1$ 的概率

$$P(Y=1|X) = \frac{1}{1 + e^{-(ax + b)}}$$

即，若记变量 $Y$ 取到值 $1$ 的概率为 $p$，则

$$p = \frac{1}{1 + e^{-(ax + b)}}$$

预测参数时，最小二乘法不再适用，使用似然估计
给定观测数据集

$$(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)$$

定义关于参数 $a, b$ 的似然函数

$$L(a, b) = \displaystyle\prod_{i=1}^{n} p_i^{y_i} (1 - p_i)^{1 - y_i}$$

其中 $p_i = P(Y=1|X=x_i) = \dfrac{1}{1 + e^{-(a x_i + b)}}$ 是在自变量 $X=x_i$ 条件下，响应变量 $Y$ 取值为 $1$ 的概率
为了方便计算，将其对数化

$$\ell(a, b) = \log L(a, b) = \displaystyle\sum_{i=1}^{n} \left(y_i \log p_i + (1 - y_i) \log (1 - p_i)\right)$$

通常来说，严格求出让 $\ell(a, b)$ 最小的 $a, b$ 比较困难
因此通常使用数值优化方法（如梯度下降法）来近似求解参数 $a, b$

# 多元回归分析

对于非单变量问题，也可以应用回归分析
假设观测到数据集

$$(x_{1j}, x_{2j}, \dots, x_{pj}, y_j), \quad j=1,2,\dots,n$$

其中 $p$ 是自变量的个数，$n$ 是观测数据的数量
目标是建立自变量 $X_1, X_2, \dots, X_p$ 与响应变量 $Y$ 之间的关系

假设关系为线性关系

$$Y = a_1 X_1 + a_2 X_2 + \cdots + a_p X_p + b$$

其中 $a_1, a_2, \dots, a_p$ 和 $b$ 是需要估计的参数

定义误差函数

$$l(a_1, a_2, \dots, a_p, b) = \displaystyle\sum_{j=1}^{n} \left(y_j - \left(a_1 x_{1j} + a_2 x_{2j} + \cdots + a_p x_{pj} + b\right)\right)^2$$

目标是求出使误差函数最小的参数 $a_1, a_2, \dots, a_p, b$

设偏微分为零

$$\begin{cases} \dfrac{\partial l}{\partial a_i} = -2 \displaystyle\sum_{j=1}^{n} x_{ij} \left(y_j - \left(a_1 x_{1j} + a_2 x_{2j} + \cdots + a_p x_{pj} + b\right)\right) = 0, \quad i=1,2,\dots,p \\ \dfrac{\partial l}{\partial b} = -2 \displaystyle\sum_{j=1}^{n} \left(y_j - \left(a_1 x_{1j} + a_2 x_{2j} + \cdots + a_p x_{pj} + b\right)\right) = 0 \end{cases}$$

整理，得到关于 $a_1, a_2, \dots, a_p, b$ 的线性方程组

$$\begin{cases} a_1 \displaystyle\sum_{j=1}^{n} x_{1j} x_{ij} + a_2 \displaystyle\sum_{j=1}^{n} x_{2j} x_{ij} + \cdots + a_p \displaystyle\sum_{j=1}^{n} x_{pj} x_{ij} + b \displaystyle\sum_{j=1}^{n} x_{ij} = \displaystyle\sum_{j=1}^{n} x_{ij} y_j, \quad i=1,2,\dots,p \\ a_1 \displaystyle\sum_{j=1}^{n} x_{1j} + a_2 \displaystyle\sum_{j=1}^{n} x_{2j} + \cdots + a_p \displaystyle\sum_{j=1}^{n} x_{pj} + n b = \displaystyle\sum_{j=1}^{n} y_j \end{cases}$$

该方程组可以通过矩阵方法求解
定义矩阵

$$X = \begin{pmatrix} 1 & x_{11} & x_{21} & \cdots & x_{p1} \\ 1 & x_{12} & x_{22} & \cdots & x_{p2} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{1n} & x_{2n} & \cdots & x_{pn} \end{pmatrix}, \quad Y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}$$

以及参数向量

$$\beta = \begin{pmatrix} b \\ a_1 \\ a_2 \\ \vdots \\ a_p \end{pmatrix}$$

那么上述方程组可以表示为

$$X^T X \beta = X^T Y$$

如果矩阵 $X^T X$ 可逆，那么参数向量 $\beta$ 的解为

$$\beta = (X^T X)^{-1} X^T Y$$

这样就得到了多元回归分析中各个参数的估计值