概率并不是一个陌生的概念，但是直到目前的学习中，主要涉及到的概率还停留在离散的古典概率上。举例来说就是分析像是掷骰子这样有有限个结果的事件
但是如果考虑这样一个问题：在区间 $[0,1]$ 上随机取一个数，取到 $\frac{1}{2}$ 的概率是多少？
就会意识到古典概率的局限性

对于这类问题，Kolmogorov 给出了如下的公理化概率定义

# 概率

定义
若集合 $\Omega$ 上的子集族 $\mathcal F$ 满足

$\Omega \in \mathcal F$
$A \in \mathcal F \implies A^c \in \mathcal F$
可数个 $A_n \in \mathcal F \implies \bigcup\limits_{i=1}^\infty A_i \in \mathcal F$
则称 $\mathcal F$ 为 $\Omega$ 上的 σ 代数 (σ-Algebra)

定义
令 $\mathcal F$ 为 $\Omega$ 上的 σ 代数，若 $P:\mathcal F \to [0,1]$ 满足

$P(\Omega) = 1$
$A_i \in \mathcal F$ 且 $A_i \cap A_j = \emptyset (i \neq j) \implies P(\bigcup\limits_{i=1}^\infty A_i) = \sum\limits_{i=1}^\infty P(A_i)$

则称 $P$ 为 $\mathcal F$ 上的 概率 (Probability)

$(\Omega, \mathcal F, P)$ 合称为 概率空间 (Probability Space)

其中，将 $\Omega$ 的子集称为 事件 (Event)「事象」
如果这个子集只有一个元素，则称为 基本事件 (Elementary Event)「根元事象」
所以实际上我们可以将 $\Omega$ 中的每一个元视作是一个基本事件

并称 $\Omega$ 为 全集 (whole event)「全事象」
空集 $\emptyset$ 为 空事件 (empty event)「空事象」

此时对于事件 $A \in \mathcal F$
$P(A)$ 称为事件 $A$ 的 概率 (Probability)「確率」

此处针对集合的层级关系做一个补充说明
𝓕 是集合的集合，也就是说，对于一个从属于 𝓕 的集合 A，他的子集是不一定是属于 $\mathcal F$ 的，这里特别给出两个推论的示例

命题

$A_1, A_2, \dots \in \mathcal F \;\;\Rightarrow\;\; \bigcap_{i=1}^{\infty} A_i \in \mathcal F$
$A_1, A_2, \dots, A_n \in \mathcal F \;\;\Rightarrow\;\; \bigcap_{i=1}^{n} A_i \in \mathcal F$

证明

(1) 由条件得 $A_1^c, A_2^c, \dots \in \mathcal F$ ，所以

$\bigcap_{i=1}^{\infty} A_i \;=\; \bigcup_{i=1}^{\infty} A_i^c \in \mathcal F$

(2) 令 $A_k = \emptyset \; (k \in \mathbb Z, k \geq n+1)$ ，则有
$A_k = \emptyset = \Omega^c \in \mathcal F$ ，所以

$\bigcap_{i=1}^{\infty} A_i = \bigcap_{i=1}^{n} A_i \in \mathcal F$

注意这两个推论中的条件，第一条没有要求终止在 $A_n$ 处，意味着他是从 $A_1$ 到 $A_\infty$ 的，浓度和自然数集一致的全体，本质上是可数无穷的。
而第二个实际上是有限个数， $n$ 是一开始就取出来固定的某个自然数。所以一个是无穷个集合的从属，一个是有限个集合从属。

另外，错误的证明示例是

$\bigcap_{i=1}^{\infty} A_i \subseteq A_1 \in \mathcal F \;\;\Rightarrow\;\; \bigcap_{i=1}^{\infty} A_i \in \mathcal F$

这个通过子集来间接获取从属关系的方法只有在这两个集合同一阶级的情况下可以成立。

例如考虑一个集合是书柜，里面的所有书本作为元素在柜子里面。房间里有多个书柜，如果此时让书柜作为从属在房间里面，那么房间的所有元素就是书柜。如果要证明某本书在房间里面，那其实这个情况不是在证明（书在房间这个集合里面），因为房间包含的元素是书柜。

而如果将书本本身视作元素从属于房间，那么书柜就是房间的一个子集了。是可以通过书本从属于书柜得到书本属于房间的。要注意这个集合里面包含的到底是什么阶级，不能从从子集关系来获得某个从属关系。

第二点，在证明第二条条件时，为什么不能直接应用到有限集合的情况？这里实际上本质还是这个从属关系。要证明的结论是有限个从属于 𝓕 的子集被交了等于有限个集合的交。但是这两个东西还是不同阶级的，也就是说里面包含的元素类型还是不一样的。那就还是不能直接得到了有限交集是属于 𝓕 的，从属于 𝓕- 代数。

这部分本来是集合论的讨论内容，但是由于这个推论很容易让人不知道为什么要用这个方法证明，仿佛在绕弯子，所以在此提醒

定理 De Morgan 定律

$(\bigcup\limits_{n=1}^\infty A_n)^c = \bigcap\limits_{n=1}^\infty A_n^c \\ (\bigcap\limits_{n=1}^\infty A_n)^c = \bigcup\limits_{n=1}^\infty A_n^c$

证明

$x \in \left(\bigcup\limits_{n=1}^\infty A_n\right)^c \Leftrightarrow x \not\in \bigcup\limits_{n=1}^\infty A_n \Leftrightarrow \forall n, x \not\in A_n \Leftrightarrow \forall n, x \in A_n^c \Leftrightarrow x \in \bigcap\limits_{n=1}^\infty A_n^c$

$x \in \left(\bigcap\limits_{n=1}^\infty A_n\right)^c \Leftrightarrow x \not\in \bigcap\limits_{n=1}^\infty A_n \Leftrightarrow \exists n, x \not\in A_n \Leftrightarrow \exists n, x \in A_n^c \Leftrightarrow x \in \bigcup\limits_{n=1}^\infty A_n^c$

# 条件概率

定义
若概率空间 $(\Omega, \mathcal F, P)$ 中的两个事件 $A, B$ 满足

$P(A \cap B) = P(A)P(B)$

则称 $A, B$ 独立 (Independent)

对于有限个事件的独立性也有
如果 $A_1, A_2, \ldots, A_n \in \mathcal F$ 的任意子集满足（此处 $1 \leq i_1 < i_2 < \ldots < i_k \leq n$ 为任意的添字组合）

$P(A_{i_1} \cap A_{i_2} \cap \ldots \cap A_{i_k}) = P(A_{i_1})P(A_{i_2}) \ldots P(A_{i_k})$

则称 $A_1, A_2, \ldots, A_n$ 相互独立 (Mutually Independent)「互いに独立」
:::

定义
若

$A \cap B = \emptyset$

则称 $A, B$ 互斥 (Mutually Exclusive)「互いに排反」

接下来介绍概率中一个重要的概念：条件概率
条件概率非常让人迷惑，一定程度上可以说：只要完全理解条件概率，学习整个概率就不会难

定义
令概率空间 $(\Omega, \mathcal F, P),\ A, B \in \mathcal F$
$P(B) > 0$
在发生 $B$ 的条件下，事件 $A$ 发生的概率

$P(A|B) = \frac{P(A \cap B)}{P(B)}$

称为 $A$ 在 $B$ 发生的条件下的 条件概率 (Conditional Probability)「条件付き確率」

重点在于

在发生 $B$ 的条件下发生 $A$ （联合概率）
$B$ 和 $A$ 同时发生（条件概率）

这两个事件本质上到底有什么区别。首先简单来说

联合概率 = 两件事同时发生的机会
条件概率 = 在已知 B 发生的前提下，A 在这些情况里出现的比例

例如，有一包糖，里面有一共有 100 颗。
其中有 50 颗是圆形，30 颗是方形，20 颗是三角形
以及 40 颗是红色，30 颗是蓝色，30 颗是绿色
那么，联合概率 “既是圆形又是红色” 的概率，就是 $\frac{50}{100} \frac{40}{100} = \frac{20}{100} = 0.2$
而条件概率 “在已知是圆形的前提下，红色的概率” 就是 $\frac{40}{100} \div \frac{50}{100} = \frac{4}{5} = 0.8$

条件概率相当于是，把考虑的范围缩小到已经确定发生了的条件上。在这个例子中就等同于把所有不是圆形的糖全部丢掉，再数里面有多少个红色的，然后用红色的数量除以圆形的数量得到比例

著名的” 三门问题 “就是条件概率的一大应用。题干如下

你参加一个游戏节目，面前有三扇门：一扇门后有一百万，另外两扇门后各有一只山羊。你选择了一扇门，但是并没有立即打开。此时主持人打开了另外两扇门中的一个，里面是山羊。接下来主持人问你你是要保持你现在的选择，或者是要更改你的选择为最后那一扇门，你会怎么选

三门问题从直觉上来说，似乎不管换不换你的胜率都应该是 $\frac{1}{3}$ ，但是条件概率的难点就在于反直觉

你的第一次选择相当于把获胜概率 $\frac{1}{3}$ 锁定在了你选择的门上，剩下两扇门合计有 $\frac{2}{3}$ 的概率
主持人去掉了其中一个没有奖品的门，但是这两个门合计的概率并不会改变。所以剩下那一个门继承了 $\frac{2}{3}$ 的概率
所以换门的胜率是 $\frac{2}{3}$ ，不换门的胜率是 $\frac{1}{3} \quad$

利用条件概率，可以得到事件独立性的等价定义

命题
令概率空间 $(\Omega, \mathcal F, P),\ A, B \in \mathcal F$
$P(B), P(B^c) > 0$
以下等价

$P(A \cap B) = P(A)P(B)$
$P(A|B) = P(A|B^c) = P(A)$

证明

(1) $\Rightarrow$ (2)

$P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{P(A)P(B)}{P(B)} = P(A)$

$P(A|B^c) = \frac{P(A \cap B^c)}{P(B^c)} = \frac{P(A) - P(A \cap B)}{1 - P(B)} = \frac{P(A) - P(A)P(B)}{1 - P(B)} = P(A)$

(2) $\Rightarrow$ (1)

$P(A) = P(A|B) = \frac{P(A \cap B)}{P(B)}$

即

$P(A \cap B) = P(A)P(B)$

# Bayes 定理

分析多种原因导致同一结果的情况时，条件概率衍生出的 Bayes 定理非常有用

定理 Bayes 定理
若 $A_1, A_2, \ldots, A_n \in \mathcal F$ 互斥且 $\bigcup\limits_{i=1}^n A_i = \Omega$ ，则

$P(A_j|B) = \frac{P(B|A_j)P(A_j)}{\sum\limits_{i=1}^n P(B|A_i)P(A_i)}$

证明

由全概率公式

$P(B) = \sum\limits_{i=1}^n P(B|A_i)P(A_i)$

所以

$P(A_j|B) = \frac{P(A_j \cap B)}{P(B)} = \frac{P(B|A_j)P(A_j)}{\sum\limits_{i=1}^n P(B|A_i)P(A_i)}$

例题
某产品同时由 A, B, C 三个厂家生产，产量分别占总产量的 30%, 30%, 40%
各厂家的次品率分别为 3%, 4%, 5%
现在问：如果随机抽取一个产品，发现是次品，那么这个次品是 A, B, C 厂家生产的概率分别是多少？

解答

设事件

$A, B, C$ ：产品是由 A, B, C 厂家生产的
$N$ ：产品是次品

并且可知

A 厂家的次品率：在事件 $A$ 发生的条件下，事件 $N$ 发生的概率 = $P(N|A) = 3\%$
B 厂家的次品率：在事件 $B$ 发生的条件下，事件 $N$ 发生的概率 = $P(N|B) = 4\%$
C 厂家的次品率：在事件 $C$ 发生的条件下，事件 $N$ 发生的概率 = $P(N|C) = 5\%$

则根据 Bayes 定理，所求概率分别为

$P(A|N) = \frac{P(N|A)P(A)}{P(N|A)P(A) + P(N|B)P(B) + P(N|C)P(C)} = \frac{9}{38} \\ P(B|N) = \frac{P(N|B)P(B)}{P(N|A)P(A) + P(N|B)P(B) + P(N|C)P(C)} = \frac{12}{38} \\ P(C|N) = \frac{P(N|C)P(C)}{P(N|A)P(A) + P(N|B)P(B) + P(N|C)P(C)} = \frac{20}{38}$

# 概率

# 条件概率

# Bayes 定理

【数理统计】样本

【数理统计】概率分布