矩法估计

如果总体 $X$ 存在 $k$ 阶矩,则由切比雪夫弱大数定律知,对任意 $\varepsilon > 0$ 有

$$ \lim_{n \to \infty} P \left(\left|\frac{1}{n} \sum_{i=1}^n X_i^k - E[X^k]\right| \geq \varepsilon \right) = 0 $$

说明当样本容量 $n$ 较大时,样本 $k$ 阶矩 $ \frac{1}{n} \sum \limits_{i=1}^n X_i^k $ 与总体 $k$ 阶矩 $E[X^k]$ 差别很小

矩法估计,就是用样本 $k$ 阶矩估计总体 $k$ 阶矩。通常各阶矩都与总体参数有关,因此,可以通过矩法估计来实现对参数的估计。

设总体 $ X \sim F_X(\cdot, \theta) $, 通常用 $\hat{\theta}_M$ 来记 $\theta$ 的矩法估计量,它是样本 $(X_1, X_2, \cdots, X_n)$ 的一个函数。将样本观测值 $ (x_1, x_2, \cdots, x_n) $ 带入估计量 $ \hat{\theta}_M $ 所得的数值,称作矩法估计值

例. 设总体 $X$ 的分布密度函数为

$$ f_X(x, \theta) = \frac{\theta}{2} e^{-\theta|x|}, \quad -\infty < x < \infty, \, \theta > 0 $$

试求 $\theta$ 的矩法估计

先求 $E[X]$,求它与参数 $\theta$ 的关系.

$$ E[X] = \int_{-\infty}^\infty x \frac{\theta}{2} e^{-\theta|x|} dx = 0 $$

与参数 $\theta$ 无关,于是试算 $E[|X|]$

$$ E[|X|] = \int_{-\infty}^\infty |x| \frac{\theta}{2} e^{-\theta|x|} dx = \int_0^\infty x \theta e^{-\theta x} dx = \frac{1}{\theta} $$

即 $\theta = \frac{1}{E[|X|]}$, 依矩法估计,得

$$ \hat{\theta}_M = \frac{1}{|\overline{X}|} = \frac{n}{\sum_{i=1}^n |X_i|}$$

最大似然估计

为确定 $\theta$ 的具体估计量,应要求 $\theta$ 的取值使得样本观测值 $(x_1, x_2, \cdots, x_n)$ 出现的可能性达到最大

设 $X$ 的分布密度函数为 $f_X(\cdot, \theta), $ 于是要求 $\theta$ 的取值使得 $(X_1, X_2, \cdots, X_n)$ 的联合密度函数在样本观测值 $(x_1, x_2, \cdots, x_n)$ 处取到最大。记 $(X_1, X_2, \cdots, X_n)$ 的联合密度函数为 $$L (x_1, x_2, \cdots, x_n; \theta) = \prod_{i=1}^n f_X (x_i, \theta)$$

称 $L$ 为 $X$ 的似然函数

为了求得 $L (x_1, x_2, \cdots, x_n; \theta) = \prod \limits_{i=1}^n f_X (x_i, \theta) $ 的最大值点,往往通过求它的驻点. 直接求导比较繁琐,通常可利用对数函数的单调性,求 $\ln (L (x_1, x_2, \cdots, x_n; \theta)$ 的最大值点

估计量的优劣性

无偏估计量

设总体 $ X \sim F_X (\cdot, \theta), \, \theta \in \Theta, \, g $ 为 $\theta$ 的函数, $T(X_1, X_2, \cdots, X_n)$ 为一统计量. 如果

$$ E_\theta [T (X_1, X_2, \cdots, X_n)] = g(\theta), $$

则称 $T(X_1, X_2, \cdots, X_n)$ 为 $g(\theta)$ 的无偏估计量. 如果

$$ \lim_{n \to \infty}E_\theta [T (X_1, X_2, \cdots, X_n)] = g(\theta), $$

则称 $T(X_1, X_2, \cdots, X_n)$ 为 $g(\theta)$ 的渐进无偏估计量.

式中 $E_\theta$ 表示在总体的参数为 $\theta$ 时的分布总体的数学期望,$g(\theta)$ 是待估计参数的一般表示,除了估计 $\theta$ 本身,还可能估计 $\theta$ 的某个函数

设总体 $ X \sim F_X (\cdot, \theta), \, \theta \in \Theta.$ 若 $T_0(X_1, X_2, \cdots, X_n)$ 为 $g(\theta)$ 的无偏估计量,且对任意的无偏估计量 $T(X_1, X_2, \cdots, X_n)$ 都有

$$ Var_\theta[T_0] \leq Var_\theta[T], \quad \forall \theta \in \Theta $$

则称 $T_0$ 为 $g(\theta)$ 的一致最小方差无偏估计量

对指数分布族(指数分布、泊松分布、二项分布、正态分布)的参数的最大似然估计量与矩法估计量相同,且都是一致最小方差无偏估计量

相合估计量

设总体 $ X \sim F_X (\cdot, \theta), \, \theta \in \Theta.$ 设 $T(X_1, X_2, \cdots, X_n)$ 为 $g(\theta)$ 的估计量,如果对任意 $\varepsilon > 0$ 有

$$ \lim_{n \to \infty} P(|T(X_1, X_2, \cdots, X_n) - g(\theta)| \geq \varepsilon) = 0, \quad \forall \theta \in \Theta $$

则称 $T(X_1, X_2, \cdots, X_n)$ 为 $g(\theta)$ 的相合估计量

大多数矩法估计量都是相合估计量