均方误差

在统计学中，平均平方误差（英语：mean-square error、MSE）是对于无法观察的参数 $\theta$ 的一个估计函数T；其定义为：

$\operatorname {MSE} (T)=\operatorname {E} ((T-\theta )^{2}),$

即，它是“误差”的平方的期望。误差就是估计值与被估计量的差。均方误差满足等式

\operatorname {MSE} (T)=\operatorname {var} (T)+(\operatorname {bias} (T))^{2}

其中

\operatorname {bias} (T)=\operatorname {E} (T)-\theta ,

也就是说，偏差 $\operatorname {bias} (T)$ 是估计函数的期望与那个无法观察的参数的差。

下边是一个具体例子。假设

X_{1},\dots ,X_{n}\sim \operatorname {N} (\mu ,\sigma ^{2}),

即 $X_{1},\dots ,X_{n}$ 是一组来自正态分布的样本。常用的两个对σ²估计函数为：

{\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}\

　和　

{\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}

其中

{\overline {X}}=(X_{1}+\cdots +X_{n})/n

为样本均值。

第一个估计函数为最大似然估计，它是有偏的，即偏差不为零，但是它的方差比第二个小。而第二个估计函数是无偏的。较大的方差某种程度上补偿了偏差，因此第二个估计函数的均方误差比第一个要大。

另外，这两个估计函数的均方误差都比下边这个有偏估计函数大： ${\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$

这个估计函数使得形如 $c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$ （其中c是常数）的均方误差最小。

参见编辑

这是一篇与统计学相关的小作品。你可以通过编辑或修订扩充其内容。