赤池信息量准则

赤池信息量准则（英语：Akaike information criterion，简称AIC）是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性（英语：Goodness of Fit，白话：合身的程度）的一种标准，是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。

AIC

在一般的情况下，AIC可以表示为：

AIC=2k-2\ln(L)\,

其中：K是参数的数量，L是似然函数。

假设条件是模型的误差服从独立正态分布。

让n为观察数，RSS为残差平方和，那么AIC变为：

AIC=2k+n\ln(RSS/n)\,

增加自由参数的数目提高了拟合的优良性，AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合（Overfitting）的情况。

所以优先考虑的模型应是AIC值最小的那一个。赤池信息量准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。

AICc和AICu

在样本少的情况下，AIC转变为AICc（改正的赤池信息量准则）：

AICc=AIC+{\frac {2k(k+1)}{n-k-1}}\,

当n增加时，AICc收敛成AIC。所以AICc可以应用在任何样本大小的情况下（Burnham and Anderson, 2004）。

McQuarrie 和 Tsai（1998: 22）把AICc定义为：

AICc=\ln {\frac {RSS}{n}}+{\frac {n+k}{n-k-2}}\ ,

他们提出的另一个紧密相关指标为AICu：

AICu=\ln {\frac {RSS}{n-k}}+{\frac {n+k}{n-k-2}}\ .

QAIC

QAIC（Quasi-AIC）可以定义为：

QAIC=2k-{\frac {1}{c}}2\ln {L}\,

其中：c是方差膨胀因素。因此QAIC可以调整过度离散（或者缺乏拟合）。

在小样本情况下, QAIC表示为：

QAICc=QAIC+{\frac {2k(k+1)}{n-k-1}}\,

.

参考文献

Akaike, Hirotsugu. A new look at the statistical model identification. IEEE Transactions on Automatic Control. 1974, 19 (6): 716–723.
Burnham, K. P., and D. R. Anderson, 2002. Model Selection and Multimodel Inference: A Practical-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7.
--------, 2004. Multimodel Inference: understanding AIC and BIC in Model Selection （页面存档备份，存于互联网档案馆）, Amsterdam Workshop on Model Selection.
Hurvich, C. M., and Tsai, C.-L., 1989. Regression and time series model selection in small samples. Biometrika, Vol 76. pp. 297-307
McQuarrie, A. D. R., and Tsai, C.-L., 1998. Regression and Time Series Model Selection. World Scientific.

另见

外部链接

赤池弘次谈论AIC （页面存档备份，存于互联网档案馆）