[迁移说明] 本文最初发布于 blog.zzw4257.cn，现已迁移并在本站进行结构化整理与增强。

概率论笔记

第一部分：概率论基础

第1讲：概率论的基本概念

随机实验、样本空间、事件的定义

• 随机实验 (Random Experiment)：满足以下三个条件的实验：

  1. 可以在相同条件下重复进行。
  2. 每次实验的可能结果不止一个，并且所有可能结果都预先明确。
  3. 进行一次实验之前不能确定哪一个结果会出现。
  • 示例：抛掷一枚硬币，观察正面（H）还是反面（T）出现。

• 样本空间 (Sample Space, $\Omega$)：随机实验所有可能结果组成的集合。集合中的元素称为样本点 (Sample Point, $\omega$)。

  • 示例：抛掷一枚硬币的样本空间 $\Omega = \{H, T\}$。
  • 示例：抛掷一颗骰子的样本空间 $\Omega = \{1, 2, 3, 4, 5, 6\}$。

• 事件 (Event, $A, B, C, \dots$)：样本空间的子集。

  • 基本事件 (Elementary Event)：由一个样本点组成的单点集。
  • 必然事件 (Certain Event)：整个样本空间 $\Omega$。
  • 不可能事件 (Impossible Event)：空集 $\emptyset$。
  • 事件的关系与运算：
    • 包含 ($\subset$)：若事件 $A$ 发生必然导致事件 $B$ 发生，则称 $B$ 包含 $A$，$A \subset B$。
    • 相等 ($=$)：若 $A \subset B$ 且 $B \subset A$，则 $A = B$。
    • 并 (Union, $\cup$) 或 和事件 ($A+B$)：$A \cup B = \{\omega \in \Omega \mid \omega \in A \text{ or } \omega \in B\}$。表示事件 $A$ 或事件 $B$ 至少有一个发生。
    • 交 (Intersection, $\cap$) 或 积事件 ($AB$)：$A \cap B = \{\omega \in \Omega \mid \omega \in A \text{ and } \omega \in B\}$。表示事件 $A$ 和事件 $B$ 同时发生。
    • 差 ($A-B$)：$A - B = \{\omega \in \Omega \mid \omega \in A \text{ and } \omega \notin B\}$。表示事件 $A$ 发生而事件 $B$ 不发生。
    • 互斥 (Mutually Exclusive) 或 不相容 (Incompatible)：若 $A \cap B = \emptyset$，则称事件 $A$ 与 $B$ 互斥。它们不能同时发生。
    • 对立事件 (Complementary Event, $\bar{A}$ 或 $A^c$)：$\bar{A} = \Omega - A$。表示事件 $A$ 不发生。

概率的公理化定义及基本性质

概率的公理化定义 (Kolmogorov Axioms)： 设 $E$ 是随机实验，$\Omega$ 是其样本空间。对于 $E$ 的每一个事件 $A$，赋予一个实数，称为事件 $A$ 的概率，记为 $P(A)$。函数 $P(\cdot)$ 满足：

1. 非负性公理：对于任意事件 $A$，有 $P(A) \ge 0$。
2. 规范性公理：$P(\Omega) = 1$。
3. 可列可加性公理：若事件 $A_1, A_2, \dots, A_n, \dots$ 两两互斥 (即 $A_i \cap A_j = \emptyset$，$i \neq j$)，则 $P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i)$ 对于有限个互斥事件，也有 $P\left(\bigcup_{i=1}^{n} A_i\right) = \sum_{i=1}^{n} P(A_i)$。

基本性质：

1. 不可能事件的概率：$P(\emptyset) = 0$。
2. 有限可加性：若 $A_1, \dots, A_n$ 两两互斥，则 $P(\bigcup_{i=1}^n A_i) = \sum_{i=1}^n P(A_i)$。
3. 概率的界：对于任意事件 $A$，$0 \le P(A) \le 1$。
4. 对立事件的概率：$P(\bar{A}) = 1 - P(A)$。
5. 减法公式：若 $A \supset B$，则 $P(A-B) = P(A) - P(B)$。更一般地，$P(A-B) = P(A) - P(AB)$。
6. 加法公式：对于任意两个事件 $A, B$， $P(A \cup B) = P(A) + P(B) - P(A \cap B)$ 对于三个事件 $A, B, C$： $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$

条件概率与全概率公式

• 条件概率 (Conditional Probability)： 设 $A, B$ 是两个事件，且 $P(B) > 0$，则在事件 $B$ 发生的条件下事件 $A$ 发生的条件概率定义为： $P(A|B) = \frac{P(A \cap B)}{P(B)}$ 性质：

  1. $P(A|B) \ge 0$
  2. $P(\Omega|B) = 1$
  3. 若 $A_1, A_2, \dots$ 互斥，则 $P(\bigcup_{i=1}^\infty A_i | B) = \sum_{i=1}^\infty P(A_i|B)$

• 乘法公式 (Multiplication Rule)： 由条件概率定义可得： $P(A \cap B) = P(B)P(A|B) \quad (\text{若 } P(B)>0)$ $P(A \cap B) = P(A)P(B|A) \quad (\text{若 } P(A)>0)$ 推广到 $n$ 个事件 $A_1, A_2, \dots, A_n$： $P(A_1 A_2 \dots A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1 A_2)\dots P(A_n|A_1 A_2 \dots A_{n-1})$

• 全概率公式 (Law of Total Probability)： 设 $B_1, B_2, \dots, B_n$ 是样本空间 $\Omega$ 的一个划分 (即 $B_i \cap B_j = \emptyset$ for $i \neq j$，且 $\bigcup_{i=1}^n B_i = \Omega$)，并且 $P(B_i) > 0$ 对所有 $i$ 成立。则对任意事件 $A$： $P(A) = \sum_{i=1}^n P(A|B_i)P(B_i)$ 如果划分是可列无穷的 $B_1, B_2, \dots$，则 $P(A) = \sum_{i=1}^\infty P(A|B_i)P(B_i)$。

独立性与互斥性的区别

• 事件的独立性 (Independence)： 事件 $A$ 和 $B$ 相互独立，如果其中一个事件的发生不影响另一个事件发生的概率。数学定义： $P(A \cap B) = P(A)P(B)$ 若 $P(A)>0, P(B)>0$，则 $A, B$ 相互独立等价于 $P(A|B) = P(A)$ 且 $P(B|A) = P(B)$。 三个事件 $A, B, C$ 相互独立，需满足：

  1. $P(AB) = P(A)P(B)$
  2. $P(AC) = P(A)P(C)$
  3. $P(BC) = P(B)P(C)$
  4. $P(ABC) = P(A)P(B)P(C)$ （注意：两两独立不一定能推出三者相互独立）

• 事件的互斥性 (Mutually Exclusive)： 事件 $A$ 和 $B$ 互斥，如果它们不能同时发生，即 $A \cap B = \emptyset$。 若 $A, B$ 互斥，则 $P(A \cup B) = P(A) + P(B)$。

• 区别：

  • 定义层面：独立性关注概率关系 ($P(AB)=P(A)P(B)$)，互斥性关注集合关系 ($A \cap B = \emptyset$)。
  • 直观意义：独立性意味着一事件的发生对另一事件的发生概率无影响。互斥性意味着一事件的发生使得另一事件不可能发生。
  • 概率关系：
    • 若 $A, B$ 互斥且 $P(A)>0, P(B)>0$，则 $P(AB)=P(\emptyset)=0$。但 $P(A)P(B) > 0$，所以 $P(AB) \neq P(A)P(B)$。因此，非空事件的互斥性意味着它们不独立。
    • 若 $A, B$ 独立且 $P(A)>0, P(B)>0$，则 $P(AB)=P(A)P(B)>0$，所以 $AB \neq \emptyset$。因此，非空事件的独立性意味着它们不互斥。
  • 总结：对于两个概率不为0的事件，独立性和互斥性不能同时成立。

第2讲：离散随机变量

离散随机变量的定义与概率质量函数（PMF）

• 随机变量 (Random Variable, RV)：定义在样本空间 $\Omega$ 上的实值函数 $X(\omega)$，其中 $\omega \in \Omega$。通常用大写字母 $X, Y, Z$ 表示。

• 离散随机变量 (Discrete Random Variable)：一个随机变量，如果它所有可能的取值是有限个或可列无限多个。

  • 示例：抛掷硬币两次，令 $X$ 为出现正面的次数。$X$ 的可能取值为 $0, 1, 2$。

• 概率质量函数 (Probability Mass Function, PMF)： 对于离散随机变量 $X$，其 PMF 定义为 $p_X(x_i) = P(X=x_i)$，其中 $x_i$ 是 $X$ 的一个可能取值。 PMF 必须满足：

  1. $p_X(x_i) \ge 0$ 对所有 $x_i$ 成立。
  2. $\sum_i p_X(x_i) = 1$ (对所有可能的 $x_i$ 求和)。

常见离散分布

1. 伯努利分布 (Bernoulli Distribution): $X \sim \text{Bernoulli}(p)$ 一次实验，结果只有两种：“成功”（$X=1$）或“失败”（$X=0$）。

   • PMF: $P(X=1) = p$, $P(X=0) = 1-p = q$.
   • 参数: $p$ (成功的概率)，$0 \le p \le 1$.

2. 二项分布 (Binomial Distribution): $X \sim B(n, p)$ or $\text{Binomial}(n, p)$ $n$ 次独立的伯努利试验中，“成功”的次数。

   • PMF: $P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}$, for $k=0, 1, \dots, n$. 其中 $\binom{n}{k} = \frac{n!}{k!(n-k)!}$ 是组合数。
   • 参数: $n$ (试验次数, $n \ge 1$ 整数)，$p$ (单次试验成功概率, $0 \le p \le 1$).

3. 几何分布 (Geometric Distribution): $X \sim \text{Geometric}(p)$ 在一系列独立的伯努利试验中，首次“成功”所需的试验次数。

   • PMF: $P(X=k) = (1-p)^{k-1} p$, for $k=1, 2, 3, \dots$.
   • 参数: $p$ (单次试验成功概率, $0 < p \le 1$).
   • 注意：有时几何分布定义为首次成功前失败的次数 $Y=X-1$，此时 $P(Y=k) = (1-p)^k p$, for $k=0, 1, 2, \dots$.

4. 泊松分布 (Poisson Distribution): $X \sim \text{Poisson}(\lambda)$ 表示单位时间（或单位面积/体积等）内某事件发生的次数。

   • PMF: $P(X=k) = \frac{e^{-\lambda} \lambda^k}{k!}$, for $k=0, 1, 2, \dots$.
   • 参数: $\lambda$ (单位时间/空间内事件发生的平均次数, $\lambda > 0$).
   • 泊松分布可作为二项分布的近似：当 $n$ 很大，$p$ 很小，而 $np = \lambda$ 适中时，$B(n,p)$ 近似于 $\text{Poisson}(\lambda)$。

离散随机变量的期望值与方差

• 期望值 (Expected Value or Mean, $E[X]$ or $\mu_X$): 离散随机变量 $X$ 的期望值是其所有可能取值 $x_i$ 以其对应概率 $p_X(x_i)$ 为权重的加权平均。 $E[X] = \sum_i x_i P(X=x_i) = \sum_i x_i p_X(x_i)$ 期望值表示随机变量取值的平均水平。

• 方差 (Variance, $Var(X)$ or $\sigma_X^2$): 衡量随机变量取值与其期望值的偏离程度。 $Var(X) = E[(X - E[X])^2] = E[(X - \mu_X)^2]$ 计算公式： $Var(X) = E[X^2] - (E[X])^2$ 其中 $E[X^2] = \sum_i x_i^2 p_X(x_i)$ 是 $X^2$ 的期望值（二阶原点矩）。

• 标准差 (Standard Deviation, $\sigma_X$): $\sigma_X = \sqrt{Var(X)}$ 标准差与随机变量具有相同的单位。

常见离散分布的期望和方差：

离散随机变量的函数及其期望值

设 $Y = g(X)$ 是离散随机变量 $X$ 的函数。则 $Y$ 也是一个离散随机变量。 其期望值 $E[Y] = E[g(X)]$ 可以通过以下公式计算，而无需先求出 $Y$ 的 PMF： $E[g(X)] = \sum_i g(x_i) P(X=x_i) = \sum_i g(x_i) p_X(x_i)$ 期望的线性性质：

• $E[c] = c$ (c 是常数)
• $E[cX] = cE[X]$
• $E[X+Y] = E[X] + E[Y]$ (无论 $X, Y$ 是否独立)
• $E[aX+b] = aE[X] + b$

第3讲：连续随机变量

连续随机变量的定义与概率密度函数（PDF）

• 连续随机变量 (Continuous Random Variable)：一个随机变量，如果它的所有可能取值充满一个区间（有限或无限）。

  • 示例：某城市中午12点的气温；一个灯泡的寿命。

• 概率密度函数 (Probability Density Function, PDF)： 对于连续随机变量 $X$，其 PDF $f_X(x)$ 描述了 $X$ 在某一点 $x$ 附近取值的相对可能性。它满足：

  1. $f_X(x) \ge 0$ 对所有 $x$ 成立。
  2. $\int_{-\infty}^{\infty} f_X(x) dx = 1$ (PDF曲线下的总面积为1)。
  3. 对于任意 $a < b$，事件 $\{a \le X \le b\}$ 的概率为： $P(a \le X \le b) = \int_a^b f_X(x) dx$
  • 重要提示：对于连续随机变量，$P(X=x_0) = \int_{x_0}^{x_0} f_X(x) dx = 0$。即，连续随机变量取任何特定单个值的概率为0。因此，$P(a \le X \le b) = P(a < X \le b) = P(a \le X < b) = P(a < X < b)$。

累积分布函数（CDF）的性质

• 累积分布函数 (Cumulative Distribution Function, CDF)： 对于任意随机变量 $X$ (离散或连续)，其 CDF $F_X(x)$ 定义为： $F_X(x) = P(X \le x)$

  • 对于离散随机变量 $X$，$F_X(x) = \sum_{x_i \le x} p_X(x_i)$。
  • 对于连续随机变量 $X$，$F_X(x) = \int_{-\infty}^x f_X(t) dt$。

• CDF 的性质：

  1. 单调非减：若 $x_1 < x_2$，则 $F_X(x_1) \le F_X(x_2)$。
  2. 有界性：$0 \le F_X(x) \le 1$。 $\lim_{x \to -\infty} F_X(x) = 0$ $\lim_{x \to +\infty} F_X(x) = 1$
  3. 右连续性：$\lim_{h \to 0^+} F_X(x+h) = F_X(x)$。
  4. 对于连续随机变量，$F_X(x)$ 是连续函数，且 $f_X(x) = \frac{dF_X(x)}{dx}$ (在 $F_X(x)$ 可导的点)。
  5. $P(a < X \le b) = F_X(b) - F_X(a)$。

常见连续分布

1. 均匀分布 (Uniform Distribution): $X \sim U(a, b)$ or $\text{Uniform}(a, b)$ 随机变量 $X$ 在区间 $[a, b]$ 内任何一点取值的概率密度相同。

   • PDF: $f_X(x) = \begin{cases} \frac{1}{b-a} & \text{if } a \le x \le b \\ 0 & \text{otherwise} \end{cases}$
   • CDF: $F_X(x) = \begin{cases} 0 & \text{if } x < a \\ \frac{x-a}{b-a} & \text{if } a \le x \le b \\ 1 & \text{if } x > b \end{cases}$
   • 参数: $a, b$ (区间的下限和上限, $a < b$).

2. 高斯（正态）分布 (Gaussian/Normal Distribution): $X \sim N(\mu, \sigma^2)$ 自然界和工程中应用最广泛的分布。

   • PDF: $f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ 其中 $-\infty < x < \infty$。
   • 参数: $\mu$ (均值, $-\infty < \mu < \infty$)，$\sigma^2$ (方差, $\sigma^2 > 0$) 或 $\sigma$ (标准差, $\sigma > 0$)。
   • 标准正态分布: 当 $\mu=0, \sigma^2=1$ 时，称为标准正态分布，记为 $Z \sim N(0,1)$。其 PDF 通常用 $\phi(z)$ 表示，CDF 用 $\Phi(z)$ 表示。 $\phi(z) = \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}}$ $\Phi(z) = P(Z \le z) = \int_{-\infty}^z \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} dt$
   • 若 $X \sim N(\mu, \sigma^2)$，则 $Z = \frac{X-\mu}{\sigma} \sim N(0,1)$ (标准化)。

连续随机变量的期望值与方差

• 期望值 (Expected Value or Mean, $E[X]$ or $\mu_X$): $E[X] = \int_{-\infty}^{\infty} x f_X(x) dx$

• 方差 (Variance, $Var(X)$ or $\sigma_X^2$): $Var(X) = E[(X - E[X])^2] = \int_{-\infty}^{\infty} (x - \mu_X)^2 f_X(x) dx$ 计算公式： $Var(X) = E[X^2] - (E[X])^2$ 其中 $E[X^2] = \int_{-\infty}^{\infty} x^2 f_X(x) dx$。

• 标准差 (Standard Deviation, $\sigma_X$): $\sigma_X = \sqrt{Var(X)}$

常见连续分布的期望和方差：

第4讲：随机变量的函数

随机变量函数的期望值公式

设 $Y = g(X)$ 是随机变量 $X$ 的函数。

• 若 $X$ 是离散随机变量，其 PMF 为 $p_X(x_i)$： $E[Y] = E[g(X)] = \sum_i g(x_i) p_X(x_i)$
• 若 $X$ 是连续随机变量，其 PDF 为 $f_X(x)$： $E[Y] = E[g(X)] = \int_{-\infty}^{\infty} g(x) f_X(x) dx$ 这个公式被称为期望运算法则 (Law of the Unconscious Statistician, LOTUS)。

期望的线性性质 (对离散和连续都适用)：

• $E[c] = c$ (c 是常数)
• $E[cX] = cE[X]$
• $E[aX+b] = aE[X] + b$
• $E[g_1(X) + g_2(X)] = E[g_1(X)] + E[g_2(X)]$

随机变量函数的方差计算

设 $Y = g(X)$。 根据方差定义： $Var(Y) = Var(g(X)) = E[(g(X) - E[g(X)])^2]$ 或者使用公式： $Var(g(X)) = E[(g(X))^2] - (E[g(X)])^2$ 其中 $E[(g(X))^2]$ 可以用 LOTUS 计算：

• 离散: $E[(g(X))^2] = \sum_i (g(x_i))^2 p_X(x_i)$
• 连续: $E[(g(X))^2] = \int_{-\infty}^{\infty} (g(x))^2 f_X(x) dx$

方差的性质：

• $Var(c) = 0$ (c 是常数)
• $Var(X+c) = Var(X)$
• $Var(cX) = c^2 Var(X)$
• $Var(aX+b) = a^2 Var(X)$

离散与连续随机变量函数的期望值与方差的计算方法

离散随机变量函数的计算方法：

1. 求 $Y=g(X)$ 的 PMF $p_Y(y_j)$：
   • 找出 $Y$ 的所有可能取值 $y_j$。
   • 对每个 $y_j$，计算 $P(Y=y_j) = P(g(X)=y_j) = \sum_{x_i: g(x_i)=y_j} P(X=x_i)$。
2. 用 $p_Y(y_j)$ 计算期望和方差：
   • $E[Y] = \sum_j y_j p_Y(y_j)$
   • $Var(Y) = \sum_j (y_j - E[Y])^2 p_Y(y_j) = E[Y^2] - (E[Y])^2$
3. 直接使用 LOTUS (更常用)：
   • $E[g(X)] = \sum_i g(x_i) p_X(x_i)$
   • $Var(g(X)) = E[(g(X))^2] - (E[g(X)])^2 = \left(\sum_i (g(x_i))^2 p_X(x_i)\right) - \left(\sum_i g(x_i) p_X(x_i)\right)^2$

连续随机变量函数的计算方法：

1. 求 $Y=g(X)$ 的 PDF $f_Y(y)$ (可能较复杂)：
   • 先求 $Y$ 的 CDF: $F_Y(y) = P(Y \le y) = P(g(X) \le y) = \int_{\{x: g(x) \le y\}} f_X(x) dx$。
   • 然后求导: $f_Y(y) = \frac{dF_Y(y)}{dy}$。
   • 特殊情况：若 $g(x)$ 单调 如果 $y=g(x)$ 是严格单调函数，且其反函数 $x=h(y)$ 存在且可导，则 $f_Y(y) = f_X(h(y)) \left| \frac{dh(y)}{dy} \right|$ 在 $y$ 的取值范围内。
2. 用 $f_Y(y)$ 计算期望和方差：
   • $E[Y] = \int_{-\infty}^{\infty} y f_Y(y) dy$
   • $Var(Y) = \int_{-\infty}^{\infty} (y - E[Y])^2 f_Y(y) dy = E[Y^2] - (E[Y])^2$
3. 直接使用 LOTUS (更常用)：
   • $E[g(X)] = \int_{-\infty}^{\infty} g(x) f_X(x) dx$
   • $Var(g(X)) = E[(g(X))^2] - (E[g(X)])^2 = \left(\int_{-\infty}^{\infty} (g(x))^2 f_X(x) dx\right) - \left(\int_{-\infty}^{\infty} g(x) f_X(x) dx\right)^2$

第二部分：随机变量的联合分布

第5讲：联合概率分布

联合概率质量函数（PMF）与联合概率密度函数（PDF）

考虑两个随机变量 $X$ 和 $Y$。

• 联合概率质量函数 (Joint PMF)： 如果 $X$ 和 $Y$ 都是离散随机变量，它们的联合 PMF $p_{X,Y}(x_i, y_j)$ 定义为： $p_{X,Y}(x_i, y_j) = P(X=x_i, Y=y_j)$ 其中 $(x_i, y_j)$ 是 $(X,Y)$ 可能取的一对值。 性质：

  1. $p_{X,Y}(x_i, y_j) \ge 0$
  2. $\sum_i \sum_j p_{X,Y}(x_i, y_j) = 1$

• 联合概率密度函数 (Joint PDF)： 如果 $X$ 和 $Y$ 都是连续随机变量，它们的联合 PDF $f_{X,Y}(x, y)$ 满足：

  1. $f_{X,Y}(x, y) \ge 0$
  2. $\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f_{X,Y}(x, y) dx dy = 1$
  3. 对于平面上的任意区域 $D$， $P((X,Y) \in D) = \iint_D f_{X,Y}(x, y) dx dy$

• 联合累积分布函数 (Joint CDF)： 对于任意随机变量 $X, Y$ (离散或连续)，联合 CDF $F_{X,Y}(x,y)$ 定义为： $F_{X,Y}(x,y) = P(X \le x, Y \le y)$

  • 离散: $F_{X,Y}(x,y) = \sum_{x_i \le x} \sum_{y_j \le y} p_{X,Y}(x_i, y_j)$
  • 连续: $F_{X,Y}(x,y) = \int_{-\infty}^x \int_{-\infty}^y f_{X,Y}(u, v) dv du$
  • 关系: $f_{X,Y}(x,y) = \frac{\partial^2 F_{X,Y}(x,y)}{\partial x \partial y}$ (若偏导存在)。

边缘分布的计算

从联合分布中得到单个随机变量的分布，称为边缘分布 (Marginal Distribution)。

• 边缘 PMF (对于离散 $X,Y$): $p_X(x_i) = P(X=x_i) = \sum_j p_{X,Y}(x_i, y_j) \quad (\text{对所有可能的 } y_j \text{ 求和})$ $p_Y(y_j) = P(Y=y_j) = \sum_i p_{X,Y}(x_i, y_j) \quad (\text{对所有可能的 } x_i \text{ 求和})$

• 边缘 PDF (对于连续 $X,Y$): $f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x, y) dy$ $f_Y(y) = \int_{-\infty}^{\infty} f_{X,Y}(x, y) dx$

独立随机变量的定义与性质

• 随机变量的独立性 (Independence of Random Variables)： 随机变量 $X$ 和 $Y$ 相互独立，如果对于任意集合 $A$ 和 $B$，事件 $\{X \in A\}$ 和 $\{Y \in B\}$ 是相互独立的。 这等价于：

  • 它们的联合 CDF 等于边缘 CDF 的乘积： $F_{X,Y}(x,y) = F_X(x) F_Y(y) \quad \text{对所有 } x, y$
  • 离散情况：它们的联合 PMF 等于边缘 PMF 的乘积： $p_{X,Y}(x_i, y_j) = p_X(x_i) p_Y(y_j) \quad \text{对所有 } x_i, y_j$
  • 连续情况：它们的联合 PDF 等于边缘 PDF 的乘积： $f_{X,Y}(x, y) = f_X(x) f_Y(y) \quad \text{对所有 } x, y$

• 独立性的性质：

  1. 如果 $X$ 和 $Y$ 独立，则 $g(X)$ 和 $h(Y)$ 也独立，其中 $g, h$ 是任意函数。
  2. 期望的乘积性质：如果 $X$ 和 $Y$ 独立，则 $E[XY] = E[X]E[Y]$ 更一般地，$E[g(X)h(Y)] = E[g(X)]E[h(Y)]$。
  3. 方差的可加性：如果 $X$ 和 $Y$ 独立，则 $Var(X+Y) = Var(X) + Var(Y)$ $Var(X-Y) = Var(X) + Var(Y)$ 注意：$Var(X+Y) = Var(X) + Var(Y) + 2Cov(X,Y)$。独立时 $Cov(X,Y)=0$。

第6讲：随机变量的独立性与相关性

协方差与相关系数的定义与性质

• 协方差 (Covariance)： 衡量两个随机变量 $X, Y$ 之间线性关系的度量。 $Cov(X,Y) = E[(X - E[X])(Y - E[Y])]$ 计算公式： $Cov(X,Y) = E[XY] - E[X]E[Y]$ 性质：

  1. $Cov(X,X) = Var(X)$
  2. $Cov(X,Y) = Cov(Y,X)$ (对称性)
  3. $Cov(aX+b, cY+d) = ac \cdot Cov(X,Y)$ ( $a,b,c,d$ 是常数)
  4. $Cov(X+Z, Y) = Cov(X,Y) + Cov(Z,Y)$ (双线性)
  5. $Var(X+Y) = Var(X) + Var(Y) + 2Cov(X,Y)$
  6. $Var(X-Y) = Var(X) + Var(Y) - 2Cov(X,Y)$
  7. 若 $X, Y$ 独立，则 $Cov(X,Y) = 0$。

• 相关系数 (Correlation Coefficient)： 协方差的归一化版本，度量 $X, Y$ 之间线性相关程度和方向。 $\rho_{XY} = \frac{Cov(X,Y)}{\sigma_X \sigma_Y} = \frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$ 假设 $Var(X) > 0$ 和 $Var(Y) > 0$。 性质：

  1. $-1 \le \rho_{XY} \le 1$。
  2. $|\rho_{XY}| = 1$ 当且仅当 $Y = aX+b$ 概率为1，其中 $a \neq 0$。
     • 若 $\rho_{XY} = 1$，则 $X, Y$ 完全正线性相关 ($a>0$)。
     • 若 $\rho_{XY} = -1$，则 $X, Y$ 完全负线性相关 ($a<0$)。
  3. 若 $\rho_{XY} = 0$，则 $X, Y$ 不相关 (uncorrelated)。
  4. $\rho_{aX+b, cY+d} = \text{sgn}(ac) \rho_{XY}$ (其中 $\text{sgn}$ 是符号函数)。

独立性与不相关性的关系

• 独立 $\implies$ 不相关： 若 $X, Y$ 相互独立，则 $E[XY] = E[X]E[Y]$，因此 $Cov(X,Y) = E[XY] - E[X]E[Y] = 0$。 所以，$\rho_{XY} = 0$。

• 不相关 $\not\implies$ 独立 (一般情况下)： 若 $Cov(X,Y)=0$（即 $\rho_{XY}=0$），$X, Y$ 不一定相互独立。不相关只意味着没有线性关系，但可能存在非线性关系。

  • 反例：设 $X \sim N(0,1)$，$Y=X^2$。 $E[X]=0$，$E[XY] = E[X^3] = 0$ (因为 $X^3$ 是奇函数，对称分布)。 $Cov(X,Y) = E[XY] - E[X]E[Y] = 0 - 0 \cdot E[Y] = 0$。 所以 $X, Y$ 不相关。但 $Y$ 完全由 $X$ 决定，所以它们显然不独立。

• 特殊情况：二元正态分布 如果 $(X,Y)$ 服从二元正态分布（见下文），则 $X, Y$ 不相关 ($\rho=0$) 当且仅当 $X, Y$ 相互独立。 （注意：对于一般的非正态分布，独立性和不相关性是不同的概念）

二元高斯分布的性质

• 二元高斯（正态）分布 (Bivariate Normal Distribution)： $(X,Y)$ 服从二元正态分布，如果其联合 PDF 为： $f_{X,Y}(x,y) = \frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_X)^2}{\sigma_X^2} - \frac{2\rho(x-\mu_X)(y-\mu_Y)}{\sigma_X\sigma_Y} + \frac{(y-\mu_Y)^2}{\sigma_Y^2}\right]\right)$ 参数：$\mu_X, \mu_Y, \sigma_X^2, \sigma_Y^2, \rho$ (相关系数)。

• 性质：

  1. 边缘分布是正态的： $X \sim N(\mu_X, \sigma_X^2)$ $Y \sim N(\mu_Y, \sigma_Y^2)$
  2. 条件分布是正态的： 给定 $X=x$ 时 $Y$ 的条件分布是正态的： $Y | (X=x) \sim N(\mu_{Y|X}, \sigma_{Y|X}^2)$，其中 $E[Y|X=x] = \mu_{Y|X} = \mu_Y + \rho \frac{\sigma_Y}{\sigma_X}(x - \mu_X)$ $Var(Y|X=x) = \sigma_{Y|X}^2 = \sigma_Y^2(1-\rho^2)$ (对称地，给定 $Y=y$ 时 $X$ 的条件分布也是正态的)
  3. 不相关等价于独立： 若 $(X,Y)$ 服从二元正态分布，则 $X, Y$ 不相关 ($\rho=0$) 当且仅当 $X, Y$ 相互独立。 当 $\rho=0$ 时，联合 PDF 变为 $f_X(x)f_Y(y)$。
  4. $X$ 和 $Y$ 的线性组合也是正态分布的：$aX+bY \sim N(\cdot, \cdot)$。