本章对几个常见的抽样分布进行介绍
需要明确的是,抽样分布本质上还是概率分布
重点在于如何做出服从对应抽样分布的统计量,并以此进行计算

# 卡方分布

对于自然数 nn,由

fn(x)={12n/2Γ(n/2)xn/21ex/2,x>00,otherwisef_n(x) = \begin{cases} \displaystyle\frac{1}{2^{n/2} \Gamma(n/2)} x^{n/2-1} e^{-x/2}, & x \gt 0 \\ 0, & \text{otherwise} \end{cases}

给出的概率分布称为自由度 nn卡方分布 (Chi-Squared Distribution)「カイ二乗分布」,记为 χ2(n)\chi^2(n)

其中

Γ(t)=0+xt1exdx\Gamma(t) = \int_0^{+\infty} x^{t-1} e^{-x} \, dx

为 Gamma 函数,满足 Γ(t+1)=tΓ(t)\Gamma(t+1) = t\Gamma(t) 以及 \Gamma(1/2) = \sqrt

命题
对于 χ2(n)\chi^2(n) 分布

  • 期望值 E[χ2]=nE[\chi^2] = n
  • 方差 V[χ2]=2nV[\chi^2] = 2n
  • 矩母函数 Mχ2(t)=(12t)n/2M_{\chi^2}(t) = (1 - 2t)^{-n/2}t<12t \lt \frac{1}{2} \quad
证明

概率良定性

0+fn(x)dx=12n/2Γ(n/2)0+xn/21ex/2dx\int_0^{+\infty} f_n(x) \, dx = \frac{1}{2^{n/2} \Gamma(n/2)} \int_0^{+\infty} x^{n/2 - 1} e^{-x/2} \, dx

y=x2y = \frac{x}{2},则 x=2yx = 2ydx=2dydx = 2 dy

=12n/2Γ(n/2)0+(2y)n/21ey2dy=2n/22n/2Γ(n/2)0+yn/21eydy=Γ(n/2)Γ(n/2)=1= \frac{1}{2^{n/2} \Gamma(n/2)} \int_0^{+\infty} (2y)^{n/2 - 1} e^{-y} \cdot 2 \, dy = \frac{2^{n/2}}{2^{n/2} \Gamma(n/2)} \int_0^{+\infty} y^{n/2 - 1} e^{-y} \, dy = \frac{\Gamma(n/2)}{\Gamma(n/2)} = 1

矩母函数

Mχ2(t)=E[etχ2]=0+etxfn(x)dx=12n/2Γ(n/2)0+xn/21ex/2+txdxM_{\chi^2}(t) = E[e^{t \chi^2}] = \int_0^{+\infty} e^{t x} f_n(x) \, dx = \frac{1}{2^{n/2} \Gamma(n/2)} \int_0^{+\infty} x^{n/2 - 1} e^{-x/2 + t x} \, dx

u=(12t)xu = \left(\frac{1}{2} - t\right) x,则 x=u12tx = \frac{u}{\frac{1}{2} - t}dx=du12tdx = \frac{du}{\frac{1}{2} - t}

=12n/2Γ(n/2)0+(u12t)n/21eudu12t=12n/2Γ(n/2)1(12t)n/20+un/21eudu=12n/2Γ(n/2)1(12t)n/2Γ(n2)=(12t)n/2= \frac{1}{2^{n/2} \Gamma(n/2)} \int_0^{+\infty} \left(\frac{u}{\frac{1}{2} - t}\right)^{n/2 - 1} e^{-u} \cdot \frac{du}{\frac{1}{2} - t} = \frac{1}{2^{n/2} \Gamma(n/2)} \cdot \frac{1}{\left(\frac{1}{2} - t\right)^{n/2}} \int_0^{+\infty} u^{n/2 - 1} e^{-u} \, du = \frac{1}{2^{n/2} \Gamma(n/2)} \cdot \frac{1}{\left(\frac{1}{2} - t\right)^{n/2}} \Gamma\left(\frac{n}{2}\right) = (1 - 2t)^{-n/2}

期望值

E[χ2]=Mχ2(0)=n2(12t)n/212t=0=nE[\chi^2] = M_{\chi^2}'(0) = \left. \frac{n}{2} (1 - 2t)^{-n/2 - 1} \cdot 2 \right|_{t=0} = n

方差

E[χ4]=Mχ2(0)=n(n+2)4(12t)n/224t=0=n(n+2)E[\chi^4] = M_{\chi^2}''(0) = \left. \frac{n(n+2)}{4} (1 - 2t)^{-n/2 - 2} \cdot 4 \right|_{t=0} = n(n+2)

V[χ2]=E[χ4](E[χ2])2=n(n+2)n2=2nV[\chi^2] = E[\chi^4] - (E[\chi^2])^2 = n(n+2) - n^2 = 2n

\square

命题
自由度 nnχ2\chi^2 分布实际上是 Gamma 分布 Γ(n2,2)\Gamma\left(\frac{n}{2}, 2\right)(形状参数 n/2n/2,尺度参数 22

统计量的构造

命题
XN(0,En)\boldsymbol X \sim N(\boldsymbol 0, E_n),即 nn 个随机变量独立同分布于标准正态分布,令

χ2=i=1nXi2\chi^2 = \sum_{i=1}^n X_i^2

χ2χ2(n)\chi^2 \sim \chi^2(n)

证明

由于 XiN(0,1)X_i \sim N(0,1),其平方 Xi2X_i^2 的矩母函数为:

MXi2(t)=E[etXi2]=etx212πex2/2dx=12πe12t2x2dx=(12t)1/2M_{X_i^2}(t) = E[e^{tX_i^2}] = \int_{-\infty}^\infty e^{tx^2} \frac{1}{\sqrt{2\pi}}e^{-x^2/2} dx = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac{1-2t}{2}x^2} dx = (1-2t)^{-1/2}

由于 XiX_i 相互独立,和的矩母函数等于矩母函数的积:

MXi2(t)=i=1n(12t)1/2=(12t)n/2M_{\sum X_i^2}(t) = \prod_{i=1}^n (1-2t)^{-1/2} = (1-2t)^{-n/2}

这正是 χ2(n)\chi^2(n) 的矩母函数。
\square

性质上,若 χ12χ2(n1)\chi^2_1 \sim \chi^2(n_1)χ22χ2(n2)\chi^2_2 \sim \chi^2(n_2)χ12,χ22\chi^2_1, \chi^2_2 独立,则有

χ12+χ22χ2(n1+n2)\chi^2_1 + \chi^2_2 \sim \chi^2(n_1 + n_2)

基于标准正态分布的制作方法,可以推广到 N(μ,σ2)N(\mu, \sigma^2),令

χ2=i=1n(Xiμσ)2\chi^2 = \sum_{i=1}^n \left(\frac{X_i - \mu}{\sigma}\right)^2

χ2χ2(n)\chi^2 \sim \chi^2(n)

此外,由于总平均 μ\mu 往往未知,所以应用上最常用和关键的制作方法是令

χ2=i=1n(XiXnσ)2=(n1)S2σ2\chi^2 = \sum_{i=1}^n \left(\frac{X_i - \overline X_n}{\sigma}\right)^2 = \frac{(n-1)S^2}{\sigma^2}

χ2χ2(n1)\chi^2 \sim \chi^2(n-1)

  • 注意:自由度从 nn 变为 n1n-1,是因为样本均值 X\overline{X} 的计算引入了一个线性约束 (XiX)=0\sum (X_i - \overline{X}) = 0,消耗了一个自由度(Cochran 定理)

# F 分布

对于自然数 m,nm,n,由

fm,n(x)={mm/2nn/2B(m/2,n/2)xm/21(mx+n)(m+n)/2,x>00,otherwisef_{m,n}(x) = \begin{cases} \displaystyle\frac{m^{m/2} n^{n/2}}{B(m/2, n/2)} \frac{x^{m/2 - 1}}{(mx + n)^{(m+n)/2}}, & x > 0 \\ 0, & \text{otherwise} \end{cases}

给出的概率分布称为分子自由度 mm,分母自由度 nnF 分布 (F Distribution)「F 分布」,记为 F(m,n)F(m,n)
其中 B(p,q)=Γ(p)Γ(q)Γ(p+q)B(p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} 为 Beta 函数

命题
对于 F(m,n)F(m, n) 分布

  • 期望值 E[F]=nn2E[F] = \dfrac{n}{n-2}n>2n \gt 2
  • 方差 V[F]=2n2(m+n2)m(n2)2(n4)V[F] = \dfrac{2 n^2 (m+n-2)}{m (n-2)^2 (n-4)}n>4n \gt 4
证明

直接对 PDF 进行积分非常繁琐。利用 FF 分布的构造定义证明更为简洁。
由定义知,若 Uχ2(m),Vχ2(n)U \sim \chi^2(m), V \sim \chi^2(n) 且独立,则 F=U/mV/nF = \frac{U/m}{V/n}
先计算 χ2(k)\chi^2(k) 的倒数期望。设 Yχ2(k)Y \sim \chi^2(k)

E[Yr]=0xr12k/2Γ(k/2)xk/21ex/2dx=2rΓ(k/2+r)Γ(k/2)E[Y^r] = \int_0^\infty x^r \frac{1}{2^{k/2}\Gamma(k/2)} x^{k/2-1} e^{-x/2} dx = \frac{2^r \Gamma(k/2+r)}{\Gamma(k/2)}

所以

E[V1]=21Γ(n/21)Γ(n/2)=121n/21=1n2(n>2)E[V^{-1}] = \frac{2^{-1} \Gamma(n/2-1)}{\Gamma(n/2)} = \frac{1}{2} \frac{1}{n/2 - 1} = \frac{1}{n-2} \quad (n>2)

E[V2]=22Γ(n/22)Γ(n/2)=141(n/21)(n/22)=1(n2)(n4)(n>4)E[V^{-2}] = \frac{2^{-2} \Gamma(n/2-2)}{\Gamma(n/2)} = \frac{1}{4} \frac{1}{(n/2-1)(n/2-2)} = \frac{1}{(n-2)(n-4)} \quad (n>4)

期望值
由于 U,VU, V 独立

E[F]=nmE[U]E[V1]=nmm1n2=nn2E[F] = \frac{n}{m} E[U] E[V^{-1}] = \frac{n}{m} \cdot m \cdot \frac{1}{n-2} = \frac{n}{n-2}

方差

E[F2]=n2m2E[U2]E[V2]E[F^2] = \frac{n^2}{m^2} E[U^2] E[V^{-2}]

已知 E[U2]=V[U]+(E[U])2=2m+m2=m(m+2)E[U^2] = V[U] + (E[U])^2 = 2m + m^2 = m(m+2)

E[F2]=n2m2m(m+2)1(n2)(n4)=n2(m+2)m(n2)(n4)E[F^2] = \frac{n^2}{m^2} \cdot m(m+2) \cdot \frac{1}{(n-2)(n-4)} = \frac{n^2(m+2)}{m(n-2)(n-4)}

V[F]=E[F2](E[F])2=n2(m+2)m(n2)(n4)(nn2)2V[F] = E[F^2] - (E[F])^2 = \frac{n^2(m+2)}{m(n-2)(n-4)} - \left(\frac{n}{n-2}\right)^2

通分整理后得

V[F]=2n2(m+n2)m(n2)2(n4)V[F] = \frac{2 n^2 (m+n-2)}{m (n-2)^2 (n-4)}

\square

统计量的构造

命题
χ12χ2(m)\chi^2_1 \sim \chi^2(m)χ22χ2(n)\chi^2_2 \sim \chi^2(n)χ12,χ22\chi^2_1, \chi^2_2 独立,令

F=χ12/mχ22/nF = \frac{\chi^2_1 / m}{\chi^2_2 / n}

FF(m,n)F \sim F(m,n)

一般地
从服从正态分布 N(μ1,σ12)N(\mu_1, \sigma_1^2) 的总体中抽取 mm 个样本 X1,,XmX_1, \ldots, X_m
从服从正态分布 N(μ2,σ22)N(\mu_2, \sigma_2^2) 的总体中抽取 nn 个样本 Y1,,YnY_1, \ldots, Y_n,令

F=SX2/σ12SY2/σ22F = \frac{S_X^2 / \sigma_1^2}{S_Y^2 / \sigma_2^2}

FF(m1,n1)F \sim F(m-1, n-1)

  • 其中 SX2,SY2S_X^2, S_Y^2 为样本的无偏方差(分母为 n1n-1

# t 分布

对于自然数 nn,由

fn(x)=1nB(n2,12)(1+x2n)n+12,xRf_n(x) = \frac{1}{\sqrt{n} B\left(\frac{n}{2}, \frac{1}{2}\right)} \left(1 + \frac{x^2}{n}\right)^{-\frac{n+1}{2}},\quad x \in \mathbb R

给出的概率分布称为自由度 nnt 分布 (Student's t-Distribution)「t 分布」,记为 t(n)t(n)

命题
对于 t(n)t(n) 分布

  • 期望值 E[t]=0E[t] = 0n>1n \gt 1
  • 方差 V[t]=nn2V[t] = \dfrac{n}{n-2}n>2n \gt 2
证明

利用 tt 分布的构造定义证明。
由定义知,若 ZN(0,1),Vχ2(n)Z \sim N(0,1), V \sim \chi^2(n) 且独立,则 t=ZV/nt = \frac{Z}{\sqrt{V/n}}

期望值
由于 ZZVV 独立,且 E[Z]=0E[Z]=0

E[t]=E[Z]E[1V/n]=0E[1V/n]=0E[t] = E[Z] E\left[\frac{1}{\sqrt{V/n}}\right] = 0 \cdot E\left[\frac{1}{\sqrt{V/n}}\right] = 0

方差

V[t]=E[t2](E[t])2=E[Z2V/n]0=nE[Z2]E[V1]V[t] = E[t^2] - (E[t])^2 = E\left[\frac{Z^2}{V/n}\right] - 0 = n E[Z^2] E[V^{-1}]

已知 E[Z2]=V[Z]+(E[Z])2=1E[Z^2] = V[Z] + (E[Z])^2 = 1,且此前已证 E[V^{-1}] = \frac{1}

V[t]=n11n2=nn2V[t] = n \cdot 1 \cdot \frac{1}{n-2} = \frac{n}{n-2}

\square

统计量的构造

命题
ZN(0,1)Z \sim N(0,1)χ2χ2(n)\chi^2 \sim \chi^2(n)Z,χ2Z, \chi^2 独立,令

t=Zχ2/nt = \frac{Z}{\sqrt{\chi^2 / n}}

tt(n)t \sim t(n)
特别地,令

t2=Z2χ2/nF(1,n)t^2 = \frac{Z^2}{\chi^2 / n} \sim F(1,n)

一般地,从服从正态分布 N(μ,σ2)N(\mu, \sigma^2) 的总体中抽取 nn 个样本 X1,X2,,XnX_1, X_2, \ldots, X_n,令

t=XnμS/nt = \frac{\overline X_n - \mu}{S / \sqrt{n}}

tt(n1)t \sim t(n-1)

  • 其中 SS 为样本无偏标准差(分母为 n1n-1

内容已经过 Gemini 3.0 Pro 审查