偏差信息量准则

偏差信息量准则（英語：deviance information criterion，DIC）是等级模型化的赤池信息量准则（AIC），被广泛应用于由马尔可夫链蒙特卡洛（MCMC）模拟出的后验分布的贝叶斯模型选择问题。和赤池信息量准则一样，偏差信息量准则是随样本容量增加的渐近近似，只应用于后验分布呈多元正态分布的情况。

定义

定义偏差（deviance）为 $D(\theta )=-2\log(p(y|\theta ))+C$ ，其中 $y$ 为数据， $\theta$ 是模型中的未知参量， $p(y|\theta )$ 是似然函数， $C$ 是常量。

有两种计算模型参数的有效数量 $p_{D}$ 的方法。一种是 $p_{D}={\bar {D}}-D({\bar {\theta }})$ ，其中 ${\bar {\theta }}$ 是 $\theta$ 的期望(Spiegelhalter et al. 2002，第587頁)。第二种是 $p_{D}=p_{V}={\frac {1}{2}}{\widehat {\operatorname {var} }}\left(D(\theta )\right)$ (Gelman et al. 2004，第182頁)。有效数量 $p_{D}$ 越大，模型的参数就越多，模型就越容易拟合数据，但也需要更小的偏差。

偏差信息量准则 ${\mathit {DIC}}$ 被定义为

{\mathit {DIC}}=p_{D}+{\bar {D}}

，

或等效于

{\mathit {DIC}}=D({\bar {\theta }})+2p_{D}

。

从第二种定义更能看出它和赤池信息量准则的联系。

应用

一般而言，偏差信息量准则 ${\mathit {DIC}}$ 的值越小，模型越好。这一准则的优点是它很容易从马尔可夫链蒙特卡洛（MCMC）模拟产生的样本中计算出来。

参见

参考文献

Ando, Tomohiro. Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models. Biometrika. 2007, 94 (2): 443–458. doi:10.1093/biomet/asm017.

Ando, T. (2010). Bayesian Model Selection and Statistical Modeling, CRC Press. Chapter 7.

Ando, Tomohiro. Predictive Bayesian Model Selection. American Journal of Mathematical and Management Sciences. 2011, 31 (1-2): 13–38. doi:10.1080/01966324.2011.10737798.

Claeskens, G, and Hjort, N.L. (2008). Model Selection and Model Averaging, Cambridge. Section 3.5.

Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. Bayesian Data Analysis: Second Edition. Texts in Statistical Science. CRC Press. 2004. ISBN 1-58488-388-X. LCCN 2003051474. MR 2027492.

van der Linde, A. (2005). "DIC in variable selection", Statistica Neerlandica, 59: 45-56. doi:10.1111/j.1467-9574.2005.00278.x

Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. Bayesian measures of model complexity and fit (with discussion). Journal of the Royal Statistical Society, Series B. 2002, 64 (4): 583–639. JSTOR 3088806. MR 1979380. doi:10.1111/1467-9868.00353.

Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. The deviance information criterion: 12 years on (with discussion). Journal of the Royal Statistical Society, Series B. 2014, 76 (3): 485–493.

外部链接

McElreath, Richard. Statistical Rethinking Lecture 8 (on DIC and other information criteria). 2015-01-29 [2018-10-04]. （原始内容存档于2019-03-13） –通过YouTube.