本篇笔记介绍了随机变量的三个重要数字特征：数学期望、方差和协方差。首先讨论了离散型和连续型随机变量的数学期望定义及其性质，包括线性性和独立变量的期望。其次介绍了方差和标准差的概念、计算方法以及切比雪夫不等式，并总结了常见分布的均值与方差。最后探讨了协方差与相关系数，阐述了它们的计算公式、基本性质，以及在描述随机变量之间线性关系中的重要作用。（由 claude-3.5-sonnet 生成摘要）

1. 数学期望

• (数学期望) 对于离散型随机变量 $X$，设其分布律为 $P(X=x_{k}) = p_{k}$，若级数 $\displaystyle{\sum_{k=1}^{+\infty} x_{k} p_{k}}$ 绝对收敛，则称 $\displaystyle{\sum_{k=1}^{+\infty} x_{k} p_{k}}$ 的值为 $X$ 的 数学期望，记为 $E(X)$；对于离散型随机变量 $X$，设其密度函数为 $f(x)$，若积分 $\displaystyle{\int_{-\infty}^{\infty} x f(x) \text{d}x}$ 绝对收敛，则称 $\displaystyle{\int_{-\infty}^{\infty} x f(x) \text{d}x}$ 的值为 $X$ 的 数学期望。
• 随机变量函数的数学期望：
  • 设 $X$ 是离散型随机变量且 $E(Y)$ 存在，则有 $\displaystyle{E(Y)=E(g(X))=\sum_{k=0}^{+\infty} g(x_k) p_{k}}$。
  • 设 $X$ 是连续型随机变量且 $E(Y)$ 存在，则有 $\displaystyle{E(Y)=E(g(X))=\int_{-\infty}^{+\infty} g(x) f(x) \text{d}x}$。
  • 设 $(X,Y)$ 是二元离散型随机变量且 $E(Z)$ 存在，则有 $\displaystyle{E(Z)=E(h(X,Y))=\sum_{i=1}^{\infty} \sum_{j=1}^{\infty} h(x_{i},y_{j}) p_{ij}}$。
  • 设 $(X,Y)$ 是二元连续型随机变量且 $E(Z)$ 存在，则有 $E(Z)=E(h(X,Y))=\displaystyle{\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} h(x,y) f(x,y) \text{d}x\text{d}y}$。
• (期望的线性性) 设 $X_1,X_2,\cdots,X_n$ 是随机变量，则 $\displaystyle{E \left( c_{0} + \sum_{i=1}^{n} c_{i} X_{i} \right) = c_{0} +\sum_{i=1}^{n} c_{i} E(X_{i})}$。
• (独立变量的期望) 设 $X_1,X_2,\cdots,X_n$ 是相互独立的随机变量，则 $\displaystyle{E \left( \prod_{i=1}^{n} X_{i} \right) = \prod_{i=1}^{n} E(X_{i})}$。

2. 方差

• (方差与标准差) 设 $X$ 是随机变量，若 $E \left( \left( X-E(X) \right)^{2} \right)$ 存在，则称其为 $X$ 的 方差，记为 $D(X)$ 或 $\operatorname*{Var}(X)$。又称 $\sqrt{D(X)}$ 为 标准差 或 均方差，记为 $\sigma(X)$。
  • 对于离散型随机变量 $X$ 且 $D(X)$ 存在，则 $\displaystyle{D(X) = \sum_{i=1}^{\infty} (x_{i} - E(X))^{2} p_{i}}$。
  • 对于连续型随机变量 $X$ 且 $D(X)$ 存在，则 $\displaystyle{D(X) = \int_{-\infty}^{+\infty} (x-E(X))^{2} f(x) \text{d} x}$。
• $D(X)=E(X^{2}) - [E(X)]^{2}$；“平方的期望减期望的平方”。
  • 可以通过这一公式和期望的定义式，通过积分/求和计算随机变量的方差与标准差。
• (切比雪夫不等式) 设随机变量 $X$ 具有数学期望 $E(X)=\mu$，方差 $D(X)=\sigma^{2}$，则对于任意正数 $\varepsilon$，不等式 $\displaystyle{P\{|X-\mu|\geq\varepsilon\}\leq\frac{\sigma^2}{\varepsilon^2}}$ 成立。
• 几种常见分布的均值与方差
• (标准化变量) 设随机变量 $X$ 具有数学期望 $E(X)=\mu$，方差 $D(X)=\sigma^{2} \neq 0$，则记 $X^{\ast} = \dfrac{X-\mu}{\sigma}$ 为 $X$ 的 标准化变量。

3. 协方差与相关系数

• (协方差) 设 $\operatorname*{Cov}(X,Y)=E\{ [E-E(X)] [E-E(Y)] \}$ 为随机变量 $X$ 与 $Y$ 的 协方差。
  • (协方差的计算公式) $\operatorname*{Cov}(X,Y)=E(XY)-E(X)E(Y)$。
  • (方差的加法性质) $D(X+Y)=D(X)+D(Y)+2\operatorname*{Cov}(X,Y)$。
  • (协方差的基本性质)
    • $\operatorname*{Cov}(X,Y)=\operatorname*{Cov}(Y,X)$；
    • $\operatorname*{Cov}(X,X)=D(X)$；
    • $\operatorname*{Cov}(aX,bY)=ab\cdot\operatorname*{Cov}(X,Y)$，其中 $a,b\in \mathbb{R}$；
    • $\operatorname*{Cov}(X_{1}+X_{2},Y)=\operatorname*{Cov}(X_{1},Y)+\operatorname*{Cov}(X_{2},Y)$；
    • 当 $D(X)D(Y) \neq 0$ 时有 $\left( \operatorname*{Cov}(X,Y) \right)^{2} \leq D(X)D(Y)$，当 $X$ 与 $Y$ 有严格的线性关系时取等号。
• (相关系数) 设 $\displaystyle{\rho_{XY}=\dfrac{\operatorname*{Cov}(X,Y)}{\sqrt{D(X) \cdot D(Y)}}}$ 为随机变量 $X$ 与 $Y$ 的 相关系数，这是一个无量纲的量，用于表征 $X,Y$ 之间线性关系的紧密程度。
  • 当且仅当 $\rho_{XY}=0$ 时称随机变量 $X,Y$ 不相关。（注意：不相关不意味着相互独立！但相互独立的随机变量一定不相关）
  • (相关系数的基本性质)
    • $|\rho_{XY}| \leq 1$；
    • 当且仅当 $P\{ Y=a+bX \}=1$ 时上式取等号，且 $b>0$ 时 $\rho_{XY}=1$；当 $b<0$ 时 $\rho_{XY}=-1$。
  • 用关于 $X$ 的线性函数 $a+bX$ 来近似表示 $Y$，以均方误差 $e(a,b)=E\left( (Y-(a+bX))^{2} \right)$ 衡量近似表示的好坏程度，$e(a,b)$ 越小，$X.Y$ 之间的相关系数越大。

4. 其他数字特征

• ($k$ 阶(原点)矩) 设 $X$ 是随机变量，若 $E(X^{k})\, (k=1,2,\cdots)$ 存在则称它为 $X$ 的 $k$ 阶(原点)距。
• ($k$ 阶中心矩) 设 $X$ 是随机变量，若 $E((X-E(X))^{k})\, (k=1,2,\cdots)$ 存在则称它为 $X$ 的 $k$ 阶中心矩。
• ($k+l$ 阶混合(原点)矩) 设 $X,Y$ 是随机变量，若 $E(X^{k}Y^{l})\, (k,l=1,2,\cdots)$ 存在则称它为 $X,Y$ 的 $k+l$ 阶混合(原点)矩。
• ($k+l$ 阶混合中心矩) 设 $X,Y$ 是随机变量，若 $E((X-E(X))^{k}(Y-E(Y))^{l})\, (k,l=1,2,\cdots)$ 存在则称它为 $X,Y$ 的 $k+l$ 阶混合中心矩。