在统计学中, 边缘似然函数(marginal likelihood function),或积分似然(integrated likelihood),是一个某些参数变量边缘化的似然函数(likelihood function) 。在贝叶斯统计范畴,它也可以被称作为 证据 或者 模型证据的。

概念

编辑

给出一组 独立同分布的数据点 ,  , 其中θ 是一个通过分布描述的 随机变量,即   概率  , 其中θ边缘分布(积分结果):

 

上述定义是在贝叶斯统计范畴给出的。在经典的(频率派)的统计学中,边缘似然这一概念产生于联合参数θ=(ψ,λ),其中 ψ 是我们关心的实际参数,λ是一个不关心的冗余参数。 如果λ服从概率分布,那么通常可以通过边缘化λ来考虑ψ的似然函数:

 

不幸的是,边缘似然一般很难计算。只有在边缘化输出参数是数据分布的共轭先验的情况下, 很少的一部分分布的可以得到确切解。在其他情况下,需要通过一些数值积分方法得到,无论是通用的法如 高斯求积蒙特卡洛方法,或一种统计问题的专用方法,例如拉普拉斯方法, 吉布斯/梅特罗波利斯采样,或者最大期望算法

在贝叶斯的范畴内,这等价于数据点的先验预测分布。

应用

编辑

贝叶斯模型比较

编辑

在贝叶斯模型比较,被边缘化的变量的参数用于特定类型的模型,其余可变标识的的模型本身。 在这种情况下,边缘似然是数据点由模型给出的概率,而不是假设的任何特定的模型参数。 用θ表示模型参数,模型M的边缘似然是

 

它是在这一背景下,术语模型证据是一种常见表达。这一数量是重要的,因为后验几率比为一个模型M1 针对另一个模型M2 的比率边缘似然,称为贝叶斯因子:

 

它可以表示成如下形式

后验几率 =先验几率× 贝叶斯因子

参见

编辑

参考文献

编辑
  • Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on the web: [1]页面存档备份,存于互联网档案馆))
  • The on-line textbook: Information Theory, Inference, and Learning Algorithms], by David J.C. MacKay.