Home 数学 数理统计

# 概率

# 概率基本定义与性质

定义（σ 代数）
若 集合 Ω\Omega 上的子集族 F\mathcal F 满足

  • Ω∈F\Omega \in \mathcal F
  • A∈F⟹Ac∈FA \in \mathcal F \implies A^c \in \mathcal F
  • 可数个 An∈F⟹⋃i=1∞Ai∈FA_n \in \mathcal F \implies \bigcup\limits_{i=1}^\infty A_i \in \mathcal F
    则称 F\mathcal F 为 Ω\Omega 上的 σ 代数 (σ-Algebra)

定义（概率）
令 F\mathbb F 为 Ω\Omega 上的 σ 代数，若 P:F→[0,1]P:\mathcal F \to [0,1] 满足

  • P(Ω)=1P(\Omega) = 1
  • Ai∈FA_i \in \mathcal F 且 Ai∩Aj=∅(i≠j)⟹P(⋃i=1∞Ai)=∑i=1∞P(Ai)A_i \cap A_j = \emptyset (i \neq j) \implies P(\bigcup\limits_{i=1}^\infty A_i) = \sum\limits_{i=1}^\infty P(A_i)

则称 PP 为 F\mathcal F 上的 概率 (Probability)

(Ω,F,P)(\Omega, \mathcal F, P) 合称为 概率空间 (Probability Space)

注意 𝓕 是集合的集合，也就是说，对于一个从属于 𝓕 的集合 A，他的子集是不一定在里面的，这里特别给出两个推论的示例

命题

  • A1,A2,⋯∈F⇒⋂i=1∞Ai∈FA_1, A_2, \dots \in \mathcal F \;\;\Rightarrow\;\; \bigcap_{i=1}^{\infty} A_i \in \mathcal F
  • A1,A2,…,An∈F⇒⋂i=1nAi∈FA_1, A_2, \dots, A_n \in \mathcal F \;\;\Rightarrow\;\; \bigcap_{i=1}^{n} A_i \in \mathcal F
证明

(1) 由条件得 A1c,A2c,⋯∈FA_1^c, A_2^c, \dots \in \mathcal F，所以

⋂i=1∞Ai=⋃i=1∞Aic∈F\bigcap_{i=1}^{\infty} A_i \;=\; \bigcup_{i=1}^{\infty} A_i^c \in \mathcal F

(2) 令 Ak=∅(k∈Z,k≥n+1)A_k = \emptyset \; (k \in \mathbb Z, k \geq n+1)，则有
Ak=∅=Ωc∈FA_k = \emptyset = \Omega^c \in \mathcal F，所以

⋂i=1∞Ai=⋂i=1nAi∈F\bigcap_{i=1}^{\infty} A_i = \bigcap_{i=1}^{n} A_i \in \mathcal F

注意这两个推论中的条件，第一条没有要求终止在 AnA_n 处，意味着他是从 A1A_1 到 A∞A_\infty 的，浓度和自然数集一致的全体，本质上是可数无穷的。而第二个实际上是有限个数，nn 是一开始就取出来固定的某个自然数。所以一个是无穷个集合的从属，一个是有限个集合从属。

另外，错误的证明示例是

⋂i=1∞Ai⊆A1∈F⇒⋂i=1∞Ai∈F\bigcap_{i=1}^{\infty} A_i \subseteq A_1 \in \mathcal F \;\;\Rightarrow\;\; \bigcap_{i=1}^{\infty} A_i \in \mathcal F

这个通过子集来间接获取从属关系的方法只有在这两个集合同一阶级的情况下可以成立。
例如我们考虑一个集合是书柜，里面的所有书本作为元素在柜子里面。房间里有多个书柜，如果我们此时让书柜作为从属在房间里面，那么房间的所有元素就是书柜。如果我们要证明某本书在房间里面，那其实我们这个情况不是在证明（书在房间这个集合里面），因为房间包含的元素是书柜。

而如果我们将书本本身视作元素从属于房间，那么书柜就是房间的一个子集了。我们是可以通过书本从属于书柜得到书本属于房间的。要注意这个集合里面包含的到底是什么阶级，不能从从子集关系来获得某个从属关系。

第二点，在证明第二条条件时，为什么不能直接应用到有限集合的情况？这里实际上本质还是这个从属关系。要证明的结论是有限个从属于 𝓕 的子集被交了等于有限个集合的交。但是这两个东西还是不同阶级的，也就是说里面包含的元素类型还是不一样的。那我们就还是不能直接得到了有限交集是属于 𝓕 的，从属于 𝓕- 代数。

这部分本来是集合论的讨论内容，但是由于这个推论很容易让人不知道为什么要用这个方法证明，仿佛在绕弯子，所以在此提醒

定理（De Moivre-Laplace 定理）

(⋃n=1∞An)c=⋂n=1∞Anc(⋂n=1∞An)c=⋃n=1∞Anc(\bigcup\limits_{n=1}^\infty A_n)^c = \bigcap\limits_{n=1}^\infty A_n^c \\ (\bigcap\limits_{n=1}^\infty A_n)^c = \bigcup\limits_{n=1}^\infty A_n^c

# 事件的独立性与条件概率

定义
若概率空间 (Ω,F,P)(\Omega, \mathcal F, P) 中的两个事件 A,BA, B 满足

P(A∩B)=P(A)P(B)P(A \cap B) = P(A)P(B)

则称 A,BA, B 独立 (Independent)
若

A∩B=∅A \cap B = \emptyset

则称 A,BA, B 互斥 / 互质 (Mutually Exclusive)「互いに排反」

如果数个事件 A1,A2,…,An∈FA_1, A_2, \ldots, A_n \in \mathcal F 的任意子集满足 （此处 1≤i1<i2<…<ik≤n1 \leq i_1 < i_2 < \ldots < i_k \leq n 为任意的添字组合）

P(Ai1∩Ai2∩…∩Aik)=P(Ai1)P(Ai2)…P(Aik)P(A_{i_1} \cap A_{i_2} \cap \ldots \cap A_{i_k}) = P(A_{i_1})P(A_{i_2}) \ldots P(A_{i_k})

则称 A1,A2,…,AnA_1, A_2, \ldots, A_n 相互独立 (Mutually Independent)「互いに独立」
:::

定义
令概率空间 (Ω,F,P),A,B∈F(\Omega, \mathcal F, P),\ A, B \in \mathcal F
P(B)>0P(B) > 0
在发生 BB 的条件下，事件 AA 发生的概率

P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}

称为 AA 在 BB 发生的条件下的 条件概率 (Conditional Probability)「条件付き確率」

命题
令概率空间 (Ω,F,P),A,B∈F(\Omega, \mathcal F, P),\ A, B \in \mathcal F
P(B),P(Bc)>0P(B), P(B^c) > 0
以下等价

  • A,BA, B 独立
  • P(A∣B)=P(A∣Bc)=P(A)P(A|B) = P(A|B^c) = P(A)

定理 Bayes 定理
令概率空间 (Ω,F,P),A,B∈F(\Omega, \mathcal F, P),\ A, B \in \mathcal F
P(B)≠0P(B) \neq 0，则

P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}

特别地，若 A1,A2,…,An∈FA_1, A_2, \ldots, A_n \in \mathcal F 互斥且 ⋃i=1nAi=Ω\bigcup\limits_{i=1}^n A_i = \Omega，则

P(Aj∣B)=P(B∣Aj)P(Aj)∑i=1nP(B∣Ai)P(Ai)P(A_j|B) = \frac{P(B|A_j)P(A_j)}{\sum\limits_{i=1}^n P(B|A_i)P(A_i)}

# 概率分布

# 随机变量

定义
令 (Ω,F,P)(\Omega, \mathcal F, P) 为概率空间
若实数值映射 X:Ω→RX:\Omega \to \mathbb R 对任意 x∈Rx \in \mathbb R 满足

  • {ω∈Ω∣X(ω)≤x}∈F\{\omega \in \Omega \mid X(\omega) \leq x\} \in \mathcal F

则称 XX 为 (Ω,F,P)(\Omega, \mathcal F, P) 上的 随机变量 (Random Variable)「確率変数」
并且，

  • 若 XX 的取值为至多可数集，则称 XX 为 离散型随机变量 (Discrete Random Variable)「離散型確率変数」
  • 若存在 f:R→[0,∞)f:\mathbb R \to [0,\infty) 使得 P(a≤X≤b)=∫abf(x)dx,(a≤b)P(a \leq X \leq b) = \int_a^b f(x)dx,\ (a \leq b)，则称 XX 为 连续型随机变量 (Continuous Random Variable)「連続型確率変数」，并且此时称 ff 为 XX 的 概率密度函数 (Probability Density Function)「確率密度関数」

在随机变量的基础上，我们可以定义出表示概率分布情况的函数

定义
对于 (Ω,F,P)(\Omega, \mathcal F, P) 上的随机变量 XX

  • 称 FX(x)=P(X≤x)F_X(x) = P(X \leq x) 为 XX 的 累积分布函数 (Cumulative Distribution Function)

研究 PDF（概率密度函数）和 CDF（累积分布函数）是研究概率变量最关键的核心

# 期望值与方差，矩量母函数

定义
对于概率变量 XX，称

E[X]=∑xi∈X(Ω)xiP(X=xi)E[X] = \sum_{x_i \in X(\Omega)} x_i P(X = x_i)

E[X]=∫−∞∞xf(x)dxE[X] = \int_{-\infty}^{\infty} x f(x) dx

分别为 XX 的离散型和连续型的 期望值 (Expected Value)「期待値」
称

V[X]=E[(X−E[X])2]V[X] = E[(X - E[X])^2]

为 XX 的 方差 (Variance)「分散」

# 离散型概率分布

# 连续型概率分布