Home 数学 数理统计

# 二维下的概率分布

当存在两个不同的随机变量 XX 和 YY 时，通过将其组成向量，可以在平面 R2\mathbb R^2 上描述其分布
便于理解，首先考虑 X,YX, Y 都是离散型随机变量，则各自拥有对应的概率取值

P(X=xi)=pi,P(Y=yj)=qjP(X = x_i) = p_i,\quad P(Y = y_j) = q_j

那么在二维平面下的概率就可以对应为

P((XY)=(xiyj))=rijP(\begin{pmatrix} X \\ Y \end{pmatrix} = \begin{pmatrix} x_i \\ y_j \end{pmatrix}) = r_{ij}

由概率 rr 所定的平面上的概率分布，称为随机变量 (X,Y)(X, Y) 的 联合分布 (Joint Distribution)「同時分布」

通过对联合分布的一侧的随机变量方向进行累加，可以将二维联合分布还原为一维

命题
在 X,YX,Y 为离散型随机变量的情况下

∑j=1Nrij=pi,∑i=1Mrij=qj\sum_{j=1}^N r_{ij} = p_i,\quad \sum_{i=1}^M r_{ij} = q_j

此时得到的

P(X=xi)=∑j=1NrijP(X = x_i) = \sum_{j=1}^N r_{ij}

称为随机变量 XX 的 边际分布 (Marginal Distribution)「周辺分布」
对于 YY 同样

当 X,YX,Y 为连续型随机变量时，联合分布对应的概率密度函数为

f(x,y)=∂2∂x∂yP(X≤x,Y≤y)f(x,y) = \frac{\partial^2}{\partial x \partial y} P(X \leq x, Y \leq y)

并且 X,YX,Y 的边际分布概率密度函数分别为

fX(x)=∫−∞+∞f(x,y)dyf_X(x) = \int_{-\infty}^{+\infty} f(x,y) dy

fY(y)=∫−∞+∞f(x,y)dxf_Y(y) = \int_{-\infty}^{+\infty} f(x,y) dx

# 随机变量的独立性

定义
设 X,YX,Y 为两个随机变量
若对于任意满足 a≤ba \leq b，c≤dc \leq d 的实数区间，有

P(a≤X≤b∣c≤Y≤d)=P(a≤X≤b)P(a \leq X \leq b \mid c \leq Y \leq d) = P(a \leq X \leq b)

则称随机变量 XX 和 YY 相互 独立 (Independence)「独立」

随机变量的独立性指示出：一边的变化不会导致另一边的变化
由此，反过来也可以说，如果两个随机变量在独立的试验中都各自表示出各自的结果，那么它们就是独立的

X,YX,Y 独立的定义的条件等价于

P(a≤X≤b,c≤Y≤d)=P(a≤X≤b)⋅P(c≤Y≤d)P(a \leq X \leq b, c \leq Y \leq d) = P(a \leq X \leq b) \cdot P(c \leq Y \leq d)

通过此乘积形式的等价条件，可以得到一般情况下判断随机变量是否独立的方法

命题
离散型随机变量 X,YX,Y 独立的充分必要条件为

rij=pi⋅qjr_{ij} = p_i \cdot q_j

连续型随机变量 X,YX,Y 独立的充分必要条件为

f(x,y)=fX(x)⋅fY(y)f(x,y) = f_X(x) \cdot f_Y(y)

直观上显然地，独立的随机变量因为不会互相影响，所以联合分布的期望值也可以简单得到

命题
设 X,YX,Y 为两个独立的随机变量，则有

E[X,Y]=E[X]⋅E[Y]E[X,Y] = E[X] \cdot E[Y]

特别地，如果随机变量 X,YX,Y 独立且均服从同一分布，则称其为 独立同分布 (Independent and Identically Distributed, i.i.d.)「独立同分布」

# 协方差

随机变量可能会独立，自然也会不独立
在分析时，需要引入一个衡量随机变量关联性的量，用于指示多个变量之间有多关联

定义
设 X,YX,Y 为两个随机变量，则称

Cov(X,Y)=E[(X−E[X])(Y−E[Y])]\text{Cov}(X,Y) = E[(X - E[X])(Y - E[Y])]

为随机变量 X,YX,Y 的 协方差 (Covariance)「共分散」
并且称

ρ(X,Y)=Cov(X,Y)V[X]V[Y]\rho (X,Y) = \frac{\text{Cov}(X,Y)}{\sqrt{V[X]} \sqrt{V[Y]}}

为随机变量 X,YX,Y 的 相关系数 (Correlation Coefficient)「相関係数」

可以快速验证得到以下关系

Cov(X,Y)=E[XY]−E[X]E[Y]\text{Cov}(X,Y) = E[XY] - E[X]E[Y]

这样一来，独立性就可以由协方差指示，在协方差为 00 时，随机变量独立

命题

  • 随机变量X,Y独立⟺Cov(X,Y)=0\text{随机变量} X,Y \text{ 独立} \iff \text{Cov}(X,Y) = 0

  • ∣ρ(X,Y)∣≤1|\rho(X,Y)| \leq 1

∣ρ(X,Y)∣=1|\rho(X,Y)| = 1 仅在有 Y=aX+bY = aX + b 这样的线性关系时成立，并且此时

X−E[X]V[X]=±Y−E[Y]V[Y]\frac{X - E[X]}{\sqrt{V[X]}} = \pm \frac{Y - E[Y]}{\sqrt{V[Y]}}

# 矩母函数

对一维情形进行自然推广

定义
对于 nn 维随机变量 X=t(X1,X2,…,Xn)\boldsymbol X = {}^t(X_1, X_2, \ldots, X_n)，称

MX(t)=E[e⟨t,X⟩],t∈RnM_{\boldsymbol X}(\boldsymbol t) = E[e^{\langle \boldsymbol t ,\boldsymbol X \rangle}],\quad \boldsymbol t \in \mathbb R^n

为 X\boldsymbol X 的 矩母函数 (Moment Generating Function)「積率母関数」

同样

命题

E[Xi]=∂∂tiMX(0)E[X_i] = \frac{\partial}{\partial t_i} M_{\boldsymbol X}(\boldsymbol 0)

E[XiXj]=∂2∂ti∂tjMX(0)E[X_i X_j] = \frac{\partial^2}{\partial t_i \partial t_j} M_{\boldsymbol X}(\boldsymbol 0)

# 高维正态分布

高维正态分布是正态分布在多维空间中的推广形式。
设随机向量

X=t(X1,X2,…,Xn)\boldsymbol X = {}^t(X_1, X_2, \ldots, X_n)

为 nn 维随机变量。若其概率密度函数为

f(x)=1(2π)n/2∣Σ∣1/2exp⁡⁣(−12(x−μ)tΣ−1(x−μ)),f(\boldsymbol x) = \frac{1}{(2\pi)^{n/2} |\boldsymbol \Sigma|^{1/2}} \exp\!\left( -\frac{1}{2} (\boldsymbol x - \boldsymbol \mu)^t \boldsymbol \Sigma^{-1} (\boldsymbol x - \boldsymbol \mu) \right),

其中：

  • μ=(μ1,μ2,…,μn)t\boldsymbol \mu = (\mu_1, \mu_2, \ldots, \mu_n)^t 为均值向量；
  • Σ=(σij)n×n\boldsymbol \Sigma = (\sigma_{ij})_{n\times n} 为协方差矩阵，且对称、半正定。

则称 X\boldsymbol X 服从 多元正态分布 (Multivariate Normal Distribution, 多変量正規分布)，

# 基本性质

  • 任意线性组合 Y=a1X1+a2X2+⋯+anXnY = a_1 X_1 + a_2 X_2 + \cdots + a_n X_n 服从一维正态分布。
  • 若 X\boldsymbol X 服从多元正态分布，则各分量 XiX_i 服从一维正态分布。
  • 若 X\boldsymbol X 服从多元正态分布，则各分量 XiX_i 相互独立的充分必要条件为协方差矩阵 Σ\boldsymbol \Sigma 为对角矩阵。

矩母函数为

MX(t)=exp⁡⁣(⟨t,μ⟩+12ttΣt)M_{\boldsymbol X}(\boldsymbol t) = \exp\!\left( \langle \boldsymbol t, \boldsymbol \mu \rangle + \frac{1}{2} \boldsymbol t^t \boldsymbol \Sigma \boldsymbol t \right)