赤池信息量准则

赤池信息量准则(英語:Akaike information criterion,简称AIC)是評估統计模型的复杂度和衡量统计模型「擬合」資料之优良性(英語:Goodness of Fit,白話:合身的程度)的一种标准,是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。

在一般的情况下,AIC可以表示为:

 

其中:K参数的数量,L是似然函数

假设条件是模型的误差服从独立正态分布。

n为观察数,RSS残差平方和,那么AIC变为:

 

增加自由参数的数目提高了拟合的优良性,AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况。

所以优先考虑的模型应是AIC值最小的那一个。赤池信息量准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。

AICc和AICu

编辑

样本少的情况下,AIC转变为AICc(改正的赤池信息量准则):

 

n增加时,AICc收敛成AIC。所以AICc可以应用在任何样本大小的情况下(Burnham and Anderson, 2004)。

McQuarrie 和 Tsai(1998: 22)把AICc定义为:

 

他们提出的另一个紧密相关指标为AICu:

 

QAIC(Quasi-AIC)可以定义为:

 

其中:c方差膨胀因素。因此QAIC可以调整过度离散(或者缺乏拟合)。

在小样本情况下, QAIC表示为:

 .

参考文献

编辑
  • Akaike, Hirotsugu. A new look at the statistical model identification. IEEE Transactions on Automatic Control. 1974, 19 (6): 716–723. 
  • Burnham, K. P., and D. R. Anderson, 2002. Model Selection and Multimodel Inference: A Practical-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7.
  • --------, 2004. Multimodel Inference: understanding AIC and BIC in Model Selection页面存档备份,存于互联网档案馆, Amsterdam Workshop on Model Selection.
  • Hurvich, C. M., and Tsai, C.-L., 1989. Regression and time series model selection in small samples. Biometrika, Vol 76. pp. 297-307
  • McQuarrie, A. D. R., and Tsai, C.-L., 1998. Regression and Time Series Model Selection. World Scientific.

另见

编辑

外部链接

编辑