置信区间

統計學名詞

统计学中,一个概率样本置信区间(英语:confidence intervalCI),是对产生这个样本的总体参数分布parametric distribution)中的某一个未知参数值,以区间形式给出的估计。相对于点估计point estimation)用一个样本统计量估计参数值,置信区间还蕴含了估计的精确度的信息。在现代机器学习中越来越常用的置信集合confidence set)概念是置信区间在多维分析的推广[1]

置信区间在频率学派中间使用,其在贝叶斯统计中的对应概念是可信区间英语credible intervalcredible interval)。两者建立在不同的概念基础上的,贝叶斯统计将分布的位置参数视为随机变量,并对给定观测到的数据之后未知参数的后验分布进行描述,故无论对随机样本还是已观测数据,构造出来的可信区间,其可信水平都一个合法的概率[2];而置信区间的置信水平,只在考虑随机样本时可以被理解为一个概率。

定义

编辑

对随机样本的定义

编辑

定义置信区间最清晰的方式是从一个随机样本出发。考虑一个一维随机变量 服从分布 ,又假设  的参数之一。假设我们的数据采集计划将要独立地抽样 次,得到一个随机样本 ,注意这里所有的 都是随机的,我们是在讨论一个尚未被观测的数据集。如果存在统计量(统计量定义为样本 的一个函数,且不得依赖于任何未知参数) 满足 使得:

 

则称 为一个用于估计参数  置信区间,其中的, 称为置信水平 假设检验中也称为显著性水平

对观测到的数据的定义

编辑

接续随机样本版本的定义,现在,对于随机变量 的一个已经观测到的样本 ,注意这里用小写x表记的 都是已经观测到的数字,没有随机性了,定义基于数据的 置信区间为:

 

注意,置信区间可以是单尾或者双尾的,单尾的置信区间中设定 或者 ,具体前者还是后者取决于所构造的置信区间的方向。

初学者常犯一个概念性错误,是将基于观测到的数据所同样构造的置信区间的置信水平,误认为是它包含真实未知参数的真实值的概率。正确的理解是:置信水平只有在描述这个同样构造置信区间的过程(或称方法)的意义下才能被视为一个概率。一个基于已经观测到的数据所构造出来的置信区间,其两个端点已经不再具有随机性,因此,类似的构造的间隔将会包含真正的值的比例在所有值中,其包含未知参数的真实值的概率是0或者1,但我们不能知道是前者还是后者[3]

例子

编辑

例1:正态分布,已知总体方差 

编辑

 水平的正态置信区间为:

  (双尾)
  (单尾)
  (单尾)

以下为方便起见,只列出双尾置信区间的例子,且区间中用" "进行简记:

例2:正态分布,未知总体方差 

编辑

 水平的双尾正态置信区间为:

 

例3:两个独立正态样本

编辑

设有两个独立正态样本  ,样本大小为  ,估计总体均值之差 ,假设总体方差未知但相等: (如果未知且不等就要应用Welch公式英语Welch's t-test来确定t分布的自由度)  水平的双尾正态置信区间为:

 ,其中  分别表示  的样本标准差。

常见误解

编辑
 
从正态分布产生的50个样本中得出的50个置信区间

置信区间及置信水平常被误解,出版的研究也显示出既使是专业的科学家也常做出错误的诠释。[4][5][6][7][8][9]

  • 以95%的置信区间来说,建构出一个置信区间,不代表分布的参数有95%的概率会落在该置信区间内(也就是说该区间有95%的概率涵盖了分布参数)。 [10]依照严格的频率学派诠释,一旦置信区间被建构完全,此区间不是涵盖了参数就是没涵盖参数,已经没有概率可言。95%概率指的是建构置信区间步骤的可靠性,不是针对一个特定的区间。[11]内曼本人(置信区间的原始提倡者)在他的原始论文提出此点:[12]

    “在上面的叙述中可以注意到,概率是指统计学家在未来关心的估计问题。事实上,我已多次说明,正确结果的频率会趋向于α。考虑到一个样本已被抽取,[特定端点]也已被计算完成。我们能说在这个特定的例子里真值[落到端点中]的概率等于α吗?答案明显是否定的。参数是未知的常数,无法做出对其值的概率叙述……”

Deborah Mayo针对此点进一步说道:[13]

“无论如何必须强调,在看到[资料的]数值后,Neyman–Pearson理论从不允许做出以下结论,特定产生的置信区间涵盖了真值的概率或信心为(1 − α)100%。Seidenfeld的评论似乎源于一种(并非不寻常的)期望,Neyman–Pearson置信区间能提供他们无法合理提供的,也就是未知参数落入特定区间的概率大小、信心高低或支持程度的测度。随着Savage (1962)之后,参数落入特定区间的概率可能是指最终精密度的测度。最终精密度的测度令人向往而且置信区间又常被(错误地)解释成可提供此测度,然而此解释是不被保证的。无可否认的,‘置信’二字助长了此误解。”

  • 95%置信区间不代表有95%的样本资料落在此置信区间。
  • 置信区间不是样本参数的可能值的确定范围,虽然它常被启发为可能值的范围。
  • 从一个实验中算出的一个95%置信区间,不代表从不同实验得到的样本参数有95%落在该区间中 [8]

构造法

编辑

一般来说,置信区间的构造需要先找到一个枢轴变量pivotal quantity,或称pivot),其表达式依赖于样本以及待估计的未知参数(但不能依赖于总体的其它未知参数),其分布不依赖于任何未知参数。

下面以上述例2为例,说明如何利用枢轴变量构造置信区间。对于一个正态分布的随机样本 ,可以证明(此证明对初学者并不容易)如下统计量互相独立

  

它们的分布是:

  

所以根据t分布的定义,有

 

于是反解如下等式左边括号中的不等式

 

就得到了例2中双尾置信区间的表达式。

与参数检验的联系

编辑

有时,置信区间可以用来进行参数检验。例如在上面的例1中构造的双尾 水平置信区间,可以用来检验具有相应的显著性水平 双尾备择假设,具体地说是如下检验: 正态分布总体,知道总体方差  显著性水平下检验:

  vs  

检验方法是:当(且仅当)相应的 水平置信区间不包含 时拒绝零假设 

例1中构造的双尾 水平置信区间也可以用来检验如下两个显著性水平为 单尾对立假设:

  vs  

  vs  

检验方法是完全类似的,比如对于上述第一个单尾检验 ,当且仅当双尾置信区间的左端点大于 时拒绝零假设。

参考文献

编辑
  1. ^ Brittany Terese Fasy; Fabrizio Lecci; Alessandro Rinaldo; Larry Wasserman; Sivaraman Balakrishnan; Aarti Singh. Confidence sets for persistence diagrams. The Annals of Statistics. 2014, 42 (6): 2301–2339. 
  2. ^ Box, George EP; Tiao, George C. Bayesian inference in statistical analysis. John Wiley & Sons. 2011. 
  3. ^ Moore, D; McCabe, George P; Craig, B. Introduction to the Practice of Statistics. San Francisco, CA: Freeman. 2012. 
  4. ^ Kalinowski, Pawel. Identifying Misconceptions about Confidence Intervals (PDF). 2010 [2021-12-22]. (原始内容 (PDF)存档于2022-01-21). 
  5. ^ Archived copy (PDF). [2014-09-16]. (原始内容 (PDF)存档于2016-03-04). 
  6. ^ Hoekstra, R., R. D. Morey, J. N. Rouder, and E-J. Wagenmakers, 2014. Robust misinterpretation of confidence intervals. Psychonomic Bulletin Review, in press. [1]页面存档备份,存于互联网档案馆
  7. ^ Scientists’ grasp of confidence intervals doesn’t inspire confidence页面存档备份,存于互联网档案馆), Science News, July 3, 2014
  8. ^ 8.0 8.1 Greenland, Sander; Senn, Stephen J.; Rothman, Kenneth J.; Carlin, John B.; Poole, Charles; Goodman, Steven N.; Altman, Douglas G. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology. April 2016, 31 (4): 337–350. ISSN 0393-2990. PMC 4877414 . PMID 27209009. doi:10.1007/s10654-016-0149-3. 
  9. ^ Helske, Jouni; Helske, Satu; Cooper, Matthew; Ynnerman, Anders; Besancon, Lonni. Can Visualization Alleviate Dichotomous Thinking? Effects of Visual Representations on the Cliff Effect. IEEE Transactions on Visualization and Computer Graphics (Institute of Electrical and Electronics Engineers (IEEE)). 2021-08-01, 27 (8): 3397–3409. ISSN 1077-2626. PMID 33856998. S2CID 233230810. arXiv:2002.07671 . doi:10.1109/tvcg.2021.3073466. 
  10. ^ Morey, R. D.; Hoekstra, R.; Rouder, J. N.; Lee, M. D.; Wagenmakers, E.-J. The Fallacy of Placing Confidence in Confidence Intervals. Psychonomic Bulletin & Review. 2016, 23 (1): 103–123. PMC 4742505 . PMID 26450628. doi:10.3758/s13423-015-0947-8. 
  11. ^ 1.3.5.2. Confidence Limits for the Mean. nist.gov. [2014-09-16]. (原始内容存档于2008-02-05). 
  12. ^ Neyman, J. Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability. Philosophical Transactions of the Royal Society A. 1937, 236 (767): 333–380. Bibcode:1937RSPTA.236..333N. JSTOR 91337. doi:10.1098/rsta.1937.0005 . 
  13. ^ Mayo, D. G. (1981) "In defence of the Neyman–Pearson theory of confidence intervals"页面存档备份,存于互联网档案馆), Philosophy of Science, 48 (2), 269–280.

参考书目

编辑