本篇笔记介绍了数理统计中参数估计的基本概念和方法。首先讲解了点估计的两种主要方法：矩估计法和极大似然估计法。接着详细阐述了评价估计量优劣的四个准则：无偏性、有效性、均方误差和相合性。最后介绍了区间估计的概念，重点讨论了置信区间和枢轴量，并通过实例说明了如何利用枢轴量构造置信区间。（由 claude-3.5-sonnet 生成摘要）

1. 参数估计

• (参数) 反应总体某方面特征的量。
• (参数估计) 当总体的参数未知时，利用样本资料对其给出估计。
• (点估计) 设总体 $X$ 有未知参数 $\theta$，$X_{1},\cdots,X_{n}$ 是 $X$ 的简单随机样本。构造合适的统计量 $\hat{\theta} = \hat{\theta}(x_{1},\cdots,x_{n})$ 用来估计未知参数 $\theta$，称 $\hat{\theta}$ 为参数 $\theta$ 的 点估计量，$\hat{\theta}(x_{1},\cdots,x_{n})$ 为参数 $\theta$ 的 点估计值。
  • (矩估计法)
    • 统计思想：以样本矩估计总体矩，以样本矩的函数估计总体矩的函数。
      • 理论依据：辛钦大数定律和依概率收敛的性质。
    • 步骤：
      • ① 求总体前 $k$ 阶矩关于 $k$ 个参数的函数：$\mu_i=E(X^i)=h_i(\theta_1,\cdots,\theta_k)\ (i=1,\cdots,k)$
      • ② 求各参数关于 $k$ 阶矩的反函数：$\theta_i=g_i(\mu_1,\cdots,\mu_k)\ (i=1,\cdots,k)$
      • ③ 以样本各阶矩 $A_{1},\cdots,A_{k}$ 代替总体各阶矩 $\mu_{1},\cdots,\mu_{k}$ 得各参数的矩估计 $\hat{\theta}_i=g_i(A_1,\cdots,A_k)\ (i=1,\cdots,k)$
      • 在实际应用时，为求解方便，也可以用中心矩代替原点矩；采用的矩不同，得出的参数估计自然也不同。
  • (极大似然估计)
    • 设离散型总体 $X \sim p(x;\theta),\ \theta \in \Theta$，$\theta$ 未知，从总体 $X$ 中取得样本 $X_{1},X_{2},\cdots,X_{n}$，其观察值为 $x_{1},x_{2},\cdots,x_{n}$，则事件 $\{ X_{1}=x_{1},\cdots,X_{n}=x_{n} \}$ 发生的概率为 $L(\theta) = P\{ X_{1}=x_{1},\cdots,X_{n}=x_{n} \} = p(x_{1}; \theta) \cdots p(x_{n}; \theta) = \displaystyle{\prod_{i=1}^{n} p(x_{i}; \theta)}$。称 $\hat{\theta}(x_{1},\cdots,x_{n})$ 为 $\theta$ 的 极大似然估计值，相应统计量 $\hat{\theta}(X_{1},\cdots,X_n)$ 为 $\theta$ 的 极大似然估计量。
    • 极大似然原理：$\displaystyle{L(\hat{\theta} (x_{1},x_{2},\cdots,x_{n})) = \max_{\theta \in \Theta} L(\theta)}$。
    • 说明：
      • 未知参数可能不止一个，一般设为 $\theta=(\theta_{1},\theta_{2},\cdots,\theta_{n})$。
      • 在求 $L(\theta)$ 的最大值时，通常转化为求 $\ln L(\theta)$ 的最大值，其中 $\ln L(\theta)$ 称为 对数似然函数。利用 $\dfrac{\partial \ln L(\theta)}{\partial \theta_{i}}=0$ 解得 $\hat{\theta_{i}}$。
      • 若 $L(\theta)$ 关于某个 $\theta_{i}$ 是单调增（减）函数，此时 $\theta_{i}$ 的极大似然估计在其边界取得。
      • 若 $\hat{\theta}$ 是 $\theta$ 的极大似然估计，则 $g(\theta)$ 的极大似然估计为 $g(\hat{\theta})$。

2. 估计量的评选准则

• (无偏性准则) 若参数 $\theta$ 的估计量 $\hat{\theta} = \hat{\theta} (X_{1},X_{2},\cdots,X_{n})$，满足 $E(\hat{\theta})=\theta$，则称 $\hat{\theta}$ 是 $\theta$ 的一个 无偏估计量。
  • 若 $E(\hat{\theta})\neq \theta$，那么 $\left| E(\hat{\theta}) - \theta \right|$ 称为估计量 $\hat{\theta}$ 的 偏差。
  • 若 $\displaystyle{\lim_{ n \to \infty } E(\hat{\theta}) = \theta}$，则称 $\hat{\theta}$ 是 $\theta$ 的 渐进无偏估计量。
  • 纠偏：若 $E(\hat{\theta}) = a \theta + b,\ \theta \in \Theta$，其中 $a,b$ 是常数且 $a\neq0$，则 $\dfrac{1}{a} (\hat{\theta} - b)$ 是 $\theta$ 的无偏估计。
• (有效性准则) 设 $\hat{\theta}_{1}, \hat{\theta}_{2}$ 是 $\theta$ 的两个无偏估计，如果 $D(\hat{\theta}_{1}) \leq D(\hat{\theta}_{2})$，对一切 $\theta \in \Theta$ 成立，且不等号至少对某一 $\theta \in \Theta$ 成立，则称 $\hat{\theta}_{1}$ 比 $\hat{\theta}_2$ 有效。
• (均方误差准则) 设 $\hat{\theta}$ 是参数 $\theta$ 的点估计，方差存在，则称 $E\left(\left( \hat{\theta} - \theta \right)^{2}\right)$ 是估计量的均方误差，记为 $Mse(\hat{\theta})$。若 $\hat{\theta}$ 是 $\theta$ 的无偏估计，则有 $Mse(\hat{\theta}) = D(\hat{\theta})$。
• (相合性准则) 设 $\hat{\theta}(X_{1},X_{2},\cdots,X_{n})$ 为参数 $\theta$ 的估计量，若对于任意 $\theta \in \Theta$，当 $n\to+\infty$ 时，$\hat{\theta}_{n}$ 依概率收敛于 $\theta$，即 $\forall \varepsilon>0$，有 $\displaystyle{\lim_{ n \to \infty } P\left\{ \hat{\theta}_{n} - \theta \right\} \geq \varepsilon} = 0$ 成立，则称 $\hat{\theta}_{n}$ 为 $\theta$ 的 相合估计量 或 一致估计量。
  • 根据依概率收敛的性质，由 $A_{1},\cdots,A_{k}$ 是 $\mu_{1},\cdots,\mu_{k}$ 的相合估计，若 $g(\mu_{1},\cdots,\mu_{k})$ 是连续函数，则 $g(A_{1},\cdots,A_{k})$ 是 $g(\mu_{1},\cdots,\mu_{k})$ 的 相合估计。

3. 区间估计

置信区间是可以通过枢轴量推出的，建议掌握这样可以大大减少期末考试时的记忆量。

• (置信区间) 设总体 $X$ 的分布函数 $F(x;\theta)$ 含有一个未知参数 $\theta$，$(X_{1},\cdots,X_{n})$ 是总体 $X$ 的一个样本，对给定的值 $\alpha\ (0<\alpha<1)$，如果有两个统计量 $\hat{\theta}_{L} = \hat{\theta}_{L} (X_{1},\cdots,X_{n})$，$\hat{\theta}_{U}= \hat{\theta}_{U}(X_{1},\cdots,X_{n})$，使得：$P\left\{ \hat{\theta}_{L} (X_{1},\cdots,X_{n}) < \theta < \hat{\theta}_{U}(X_{1},\cdots,X_{n}) \right\} \geq 1 - \alpha\ (\forall \theta \in \Theta)$。则称随机区间 $\left( \hat{\theta}_{L}, \hat{\theta}_{U} \right)$ 是 $\theta$ 的 双侧置信区间，称 $1-\alpha$ 为 置信度，$\hat{\theta}_{L}$ 为 双侧置信下限，$\hat{\theta}_{U}$ 为 双侧置信上限。
• (枢轴量) 设总体 $X$ 的概率密度函数 $f(x;\theta)$，其中 $\theta$ 为待估参数，并设 $X_{1},X_{2},\cdots,X_{n}$ 是来自总体 $X$ 的样本，如果样本和参数 $\theta$ 的函数 $G(X_{1},X_{2},\cdots,X_{n}; \theta)$ 的分布完全已知，且形式上不依赖于其他未知参数，则称 $G(X_{1},X_{2},\cdots,X_{n};\theta)$ 为 枢轴量。
  • 单个正态总体时的假设检验的枢轴量：
    • 待估 $\mu$，$\sigma^{2}$ 已知：$\displaystyle{Z=\frac{\overline{X}-\mu_0}{\sigma/\sqrt{n}}} \sim N(0,1)$；
    • 待估 $\mu$，$\sigma^{2}$ 未知：$T=\dfrac{\overline{X}-\mu_0}{S/\sqrt{n}} \sim t(n-1)$；
    • 待估 $\sigma^{2}$，$\mu$ 未知：$\displaystyle{\chi^2=\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)}$；
  • 两个正态总体时的假设检验的枢轴量：
    • 待估 $\mu_{1}-\mu_{2}$，$\sigma^{2}_{1}$ 和 $\sigma^{2}_{2}$ 已知：$Z=\dfrac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{\sqrt{\dfrac{\sigma_1^2}{n_1}+\dfrac{\sigma_2^2}{n_2}}}\sim N(0,1)$；
    • 待估 $\mu_{1}-\mu_{2}$，$\sigma^{2}_{1}=\sigma^{2}_{2}$ 未知：$t=\dfrac{(\overline{X}-\overline{Y})-(\mu_{1}-\mu_{2})}{S_{w}\sqrt{\dfrac{1}{n_{1}}+\dfrac{1}{n_{2}}}}\sim t(n_{1}+n_{2}-2)$，其中 $S_{w}^{2}=\dfrac{(n_{1}-1)S_{1}^{2}+(n_{2}-1)S_{2}^{2}}{n_{1}+n_{2}-2}$；
    • 待估 $\dfrac{\sigma^{2}_{1}}{\sigma^{2}_{2}}$，$\mu_{1},\mu_{2}$ 未知：$\displaystyle{F=\frac{S_{1}^{2}/S_{2}^{2}}{\sigma_{1}^{2}/\sigma_{2}^{2}}\sim F(n_{1}-1,n_{2}-1)}$；
  • 其余的仅了解即可，考试不考察。