概率并不是一个陌生的概念，但是直到目前的学习中，主要涉及到的概率还停留在离散的古典概率上。举例来说就是分析像是掷骰子这样有有限个结果的事件
但是如果考虑这样一个问题：在区间 $[0,1]$ 上随机取一个数，取到 $\frac{1}{2}$ 的概率是多少？
就会意识到古典概率的局限性：

直观上来说概率不应该是 $0$ ，因为这确实是可能发生的（实际上概率为 $0$ 的事件并非不可能发生）
但是如果使用古典概率的定义，结果又会是 $0$ ，因为在区间 $[0,1]$ 上有无穷多个数，而 $\frac{1}{2}$ 只是其中的一个

为了解决定义的限制，Kolmogorov 给出了如下的公理化概率定义

# 概率

定义
取非空集合 $\Omega$ 上的子集族 $\mathcal F$
称 $\mathcal F$ 为 $\Omega$ 上的 σ 代数 (σ-Algebra)，当且仅当满足：

$\Omega \in \mathcal F$
$A \in \mathcal F \implies A^c \in \mathcal F$
任意可数个 $A_n \in \mathcal F \implies \bigcup\limits_{i=1}^\infty A_i \in \mathcal F$

$\sigma$ - 代数是定义在某个集合上的 “可测子集” 构成的集合族，它规定了哪些集合是有资格被讨论 “大小”（测度）或 “概率” 的。

定义
令 $\mathcal F$ 为 $\Omega$ 上的 σ 代数
称映射 $P:\mathcal F \to [0,1]$ 为 $\mathcal F$ 上的 概率 (Probability)，当且仅当满足：

$P(\Omega) = 1$
$A_i \in \mathcal F$ 且 $A_i \cap A_j = \emptyset (i \neq j) \implies P(\bigcup\limits_{i=1}^\infty A_i) = \sum\limits_{i=1}^\infty P(A_i)$

称 $\Omega$ 为 全集 (whole event)「全事象」 或样本空间，表示所有可能结果的集合
空集 $\emptyset$ 为 空事件 (empty event)「空事象」

$(\Omega, \mathcal F, P)$ 合称为 概率空间 (Probability Space)

其中，将 $\Omega$ 的子集称为 事件 (Event)「事象」
如果这个子集只有一个元素，则称为 基本事件 (Elementary Event)「根元事象」，所以实际上我们可以将 $\Omega$ 中的每一个元视作是一个基本事件

对于事件 $A \in \mathcal F$ ， $P(A)$ 称为事件 $A$ 的 概率 (Probability)「確率」

示例

掷骰子时， $\Omega = \{1, 2, 3, 4, 5, 6\}$ ，事件 $A =$ “掷出偶数”，则 $A = \{2, 4, 6\}$ ，其中 $\{2\}, \{4\}, \{6\}$ 均为基本事件
在区间 $[0,1]$ 上随机取一个数时， $\Omega = [0,1]$ ，事件 $B =$ “取到小于 $\dfrac{1}{2}$ 的数”，则 $B = [0, \dfrac{1}{2})$ ，其中任意单点集 $\{x\} (x \in [0,1])$ 均为基本事件

此处针对集合的层级关系做一个补充说明
$\mathcal F$ 是集合的集合，也就是说，对于一个从属于 $\mathcal F$ 的集合 $A$ ，他的子集是不一定是属于 $\mathcal F$ 的，这里特别给出两个推论的示例

命题

$A_1, A_2, \dots \in \mathcal F \implies \displaystyle\bigcap_{i=1}^{\infty} A_i \in \mathcal F$
$A_1, A_2, \dots, A_n \in \mathcal F \implies \displaystyle\bigcap_{i=1}^{n} A_i \in \mathcal F$

证明

(1)
由条件得 $A_1^c, A_2^c, \dots \in \mathcal F$ ，所以

$\bigcap_{i=1}^{\infty} A_i = \bigcup_{i=1}^{\infty} A_i^c \in \mathcal F$

(2)
令 $A_k = \emptyset \; (k \in \mathbb Z, k \geq n+1)$ ，则有 $A_k = \emptyset = \Omega^c \in \mathcal F$ ，所以

$\bigcap_{i=1}^{\infty} A_i = \bigcap_{i=1}^{n} A_i \in \mathcal F$

$\square$

第一条没有要求终止在 $A_n$ 处，意味着他是从 $A_1$ 到 $A_\infty$ 的，势为 $\aleph_0$ （可数无限）
第二个实际上是有限个数， $n$ 是一开始就取出来固定的某个自然数。势为 $n$

另外，错误的证明示例是

$\bigcap_{i=1}^{\infty} A_i \subseteq A_1 \in \mathcal F \implies \bigcap_{i=1}^{\infty} A_i \in \mathcal F$

这个通过子集来间接获取从属关系的方法只有在这两个集合同一阶级的情况下可以成立。

例如：考虑一个书柜集合，里面的所有书本作为元素在柜子里面。房间里有多个书柜，构成一个二级集合结构，也就是说

书本是基本单位
书柜是书本的集合
房间是书柜的集合，书柜是房间的元素，但是我们不认为书本是房间的元素

现在这个错误的证明实际上是想尝试：
取出房间里面的所有的书，将他们全部组合起来或者是取交集，得到一个新的书柜，于是得出结论：这个新的书柜也是房间的元素
这显然是不对的，因为房间里面并不一定有一个足够大的涵盖了所有书的书柜，或者是一个巧妙到正好是所有书的交集的书柜

这部分本来是在结束集合论的学习后默认应该了解的内容，但是实际上这里的本质原因在初学时并不容易理解，所以特意补充说明

# 条件概率

定义
取概率空间 $(\Omega, \mathcal F, P)$ 中的两个事件 $A, B$ ，称 $A, B$ 独立 (Independent)，当且仅当

$P(A \cap B) = P(A)P(B)$

称 $A, B$ 互斥 (Mutually Exclusive)「互いに排反」，当且仅当

$A \cap B = \emptyset$

对于有限个事件，独立性的定义也可以推广
任取事件 $A_1, A_2, \ldots, A_n \in \mathcal F$
称 $A_1, A_2, \ldots, A_n$ 相互独立 (Mutually Independent)「互いに独立」，当且仅当

$P(A_{i_1} \cap A_{i_2} \cap \ldots \cap A_{i_k}) = P(A_{i_1})P(A_{i_2}) \ldots P(A_{i_k})$

其中 $1 \leq i_1 \lt i_2 \lt \ldots \lt i_k \leq n$ 为任意的添字组合， $k$ 为任意的正整数， $1 \leq k \leq n$

直观上，等式 $P(A \cap B) = P(A)P(B)$ 的含义是：事件 $A$ 的发生与否不会影响事件 $B$ 发生的概率，反之亦然

独立性可以导出概率中一个重要的概念：条件概率
条件概率是反直觉的，因为它揭示了样本空间的坍塌，这一般来说是会被人类的感官所忽略的（后续会给出例子）

定义
令概率空间 $(\Omega, \mathcal F, P)$ 取事件 $A, B \in \mathcal F$ ，并满足概率 $P(B) \gt 0$
定义 $A$ 在 $B$ 发生的条件下的 条件概率 (Conditional Probability)「条件付き確率」 为

$P(A|B) = \frac{P(A \cap B)}{P(B)}$

事件 $A \cap B$ 表示在发生 $B$ 的条件下发生 $A$ （联合概率）
事件 $A \mid B$ 表示在事件 $B$ 发生的条件下事件 $A$ 发生的概率（条件概率），此时所有 $B$ 没有发生的情况都会坍塌，样本空间会缩小，条件概率反映事件 $A$ 在这个缩小后的样本空间中的比例

示例
有一包糖，里面有一共有 $100$ 颗。

其中有 $50$ 颗是圆形， $30$ 颗是方形， $20$ 颗是三角形
以及 $40$ 颗是红色， $30$ 颗是蓝色， $30$ 颗是绿色

现在考虑操作：随机从袋子里取出一颗糖。那么所有可能的结果构成的全集应该类似

$\Omega = \left\{ \begin{array}{c} (\text{Circle}, \text{Red}), & (\text{Circle}, \text{Blue}), & (\text{Circle}, \text{Green}), \\ (\text{Square}, \text{Red}), & (\text{Square}, \text{Blue}), & (\text{Square}, \text{Green}), \\ (\text{Triangle}, \text{Red}), & (\text{Triangle}, \text{Blue}), & (\text{Triangle}, \text{Green}) \end{array} \right\}$

那么，抽出的糖是红色且是圆形的联合概率，就是事件 $(\text{Circle}, \text{Red})$ 发生的概率，因为这些事件是独立的，所以

$P(\text{Circle} \cap \text{Red}) = P(\text{Circle})P(\text{Red}) = \frac{50}{100} \times \frac{40}{100} = \frac{20}{100}$

然而，对于条件概率事件 $P(\text{Red}|\text{Circle})$ 来说，因为在考虑条件 “圆形” 的这个时间点，所有非圆形的糖都不可能被纳入考虑了，此时样本空间坍塌为

$\Omega' = \left\{ (\text{Circle}, \text{Red}),\ (\text{Circle}, \text{Blue}),\ (\text{Circle}, \text{Green}) \right\}$

在新的坍塌后的样本空间中，各自的条件概率可以计算得出

$\begin{aligned} P'(\text{Circle} \mid \text{Red}) & = \frac{P(\text{Circle} \cap \text{Red})}{P(\text{Circle})} = \frac{\frac{20}{100}}{\frac{50}{100}} = \frac{2}{5} \\ P'(\text{Circle} \mid \text{Blue}) & = \frac{P(\text{Circle} \cap \text{Blue})}{P(\text{Circle})} = \frac{\frac{15}{100}}{\frac{50}{100}} = \frac{3}{10} \\ P'(\text{Circle} \mid \text{Green}) & = \frac{P(\text{Circle} \cap \text{Green})}{P(\text{Circle})} = \frac{\frac{15}{100}}{\frac{50}{100}} = \frac{3}{10} \end{aligned}$

著名的 “三门问题” 也是条件概率的一大应用。题干如下

你参加一个游戏节目，面前有三扇门：一扇门后有一百万，另外两扇门后各有一只山羊。你选择了一扇门，但是并没有立即打开。此时主持人打开了另外两扇门中的一个，里面是山羊。接下来主持人问你你是要保持你现在的选择，或者是要更改你的选择为最后那一扇门，你会怎么选

三门问题从直觉上来说，似乎不管换不换你的胜率都应该是 $\frac{1}{3}$ ，但是不妨从条件概率的角度来分析
首先，假设三扇门分别为 $A,B,C$ ，样本空间应该为

$\Omega = \left\{ \begin{array}{c} (\text{A:Win}, \text{B:Goat}, \text{C:Goat}), \\ (\text{A:Goat}, \text{B:Win}, \text{C:Goat}), \\ (\text{A:Goat}, \text{B:Goat}, \text{C:Win}) \end{array} \right\}$

设事件 $X$ ：你获胜
设事件 $Y$ ：主持人打开了一扇山羊门

显然样本空间中的三个事件是等可能的。假设你选择了门 $A$

如果大奖就在门 $A$ 后面，主持人可以打开门 $B$ 或者门 $C$ ，此时你换了门一定会输
如果大奖在门 $B$ 后面，主持人只能打开门 $C$ ，此时你换了门一定会赢
如果大奖在门 $C$ 后面，主持人只能打开门 $B$ ，此时你换了门一定会赢

这样就显然可以看出：在你换门后获胜的概率其实等于你原本不正确的概率，所以换门后获胜的概率是 $\dfrac{2}{3}$ ，而不换门获胜的概率是 $\dfrac{1}{3}$ ，应该选择换门

利用条件概率，可以得到事件独立性的等价定义

命题
令概率空间 $(\Omega, \mathcal F, P),\ A, B \in \mathcal F$
$P(B), P(B^c) > 0$
以下等价

$P(A \cap B) = P(A)P(B)$
$P(A|B) = P(A|B^c) = P(A)$

证明

( $\Rightarrow$ )

$\begin{aligned} P(A|B) &= \frac{P(A \cap B)}{P(B)} = \frac{P(A)P(B)}{P(B)} = P(A) \\ P(A|B^c) &= \frac{P(A \cap B^c)}{P(B^c)} = \frac{P(A) - P(A \cap B)}{1 - P(B)} = \frac{P(A) - P(A)P(B)}{1 - P(B)} = P(A) \end{aligned}$

( $\Leftarrow$ )

$P(A) = P(A|B) = \frac{P(A \cap B)}{P(B)} \implies P(A \cap B) = P(A)P(B)$

$\square$

# Bayes 定理

分析多种原因导致同一结果的情况时，条件概率衍生出的 Bayes 定理非常有用

定理 Bayes 定理
若 $A_1, A_2, \ldots, A_n \in \mathcal F$ 互斥且 $\bigcup\limits_{i=1}^n A_i = \Omega$ ，则

$P(A_j|B) = \frac{P(B|A_j)P(A_j)}{\sum\limits_{i=1}^n P(B|A_i)P(A_i)}$

证明

由全概率公式

$P(B) = \sum\limits_{i=1}^n P(B|A_i)P(A_i)$

所以

$P(A_j|B) = \frac{P(A_j \cap B)}{P(B)} = \frac{P(B|A_j)P(A_j)}{\sum\limits_{i=1}^n P(B|A_i)P(A_i)}$

$\square$

例题
某产品同时由 A, B, C 三个厂家生产，产量分别占总产量的 30%, 30%, 40%
各厂家的次品率分别为 3%, 4%, 5%
现在问：如果随机抽取一个产品，发现是次品，那么这个次品是 A, B, C 厂家生产的概率分别是多少？

解答

设事件

$A, B, C$ ：产品是由 A, B, C 厂家生产的
$N$ ：产品是次品

并且可知

A 厂家的次品率：在事件 $A$ 发生的条件下，事件 $N$ 发生的概率 = $P(N|A) = 3\%$
B 厂家的次品率：在事件 $B$ 发生的条件下，事件 $N$ 发生的概率 = $P(N|B) = 4\%$
C 厂家的次品率：在事件 $C$ 发生的条件下，事件 $N$ 发生的概率 = $P(N|C) = 5\%$

则根据 Bayes 定理，所求概率分别为

$\begin{aligned} P(A|N) &= \frac{P(N|A)P(A)}{P(N|A)P(A) + P(N|B)P(B) + P(N|C)P(C)} = \frac{9}{38} \\ P(B|N) &= \frac{P(N|B)P(B)}{P(N|A)P(A) + P(N|B)P(B) + P(N|C)P(C)} = \frac{12}{38} \\ P(C|N) &= \frac{P(N|C)P(C)}{P(N|A)P(A) + P(N|B)P(B) + P(N|C)P(C)} = \frac{20}{38} \end{aligned}$

$\square$

# 概率

# 条件概率

# Bayes 定理

【线性代数】1-矩阵

【线性代数】7-各种常见的子空间