p值

p值為假設檢定中假設虛無假設為真時觀測到的至少與實際觀測樣本相同的樣本的概率。很小的p值說明在虛無假設下觀測到的概率很小。學術出版物中常常報告假設檢定的p值。p值由於其確切意義難以掌握而屢遭誤用；對p值的誤用是元科學的主要課題。

簡介

p值（p value）就是當虛無假設為真時所得到的樣本觀察結果或更極端結果出現的概率。如果p值很小，說明在虛無假設下極端觀測結果的發生概率很小。而如果出現了，根據小概率原理，就有理由拒絕虛無假設；p值越小，拒絕虛無假設的理由越充分 。

對於一個統計模型的參數空間$\Theta$，把參數空間劃分為兩個不相交的集合$\Theta _{0}$和$\Theta _{1}$，然後給定的隨機樣本$X=(X_{1},\cdots ,X_{n})$，想檢定參數在哪一個劃分的空間

$H_{0}:\theta \in \Theta _{0}\quad {\text{ versus }}\quad H_{1}:\theta \in \Theta _{1}$

構造的拒絕域是 對於一個可以探測參數$\theta$的統計量$T(X)$，定義拒絕域為該統計量大於閾值$c$的形式：

$R_{T}=\{X:T(X)>c\}$

那麼，一個擁有拒絕域是$R_{T}$的假設檢定方法，則該檢定的統計功效函數被定義為

$\beta _{T}(\theta )=\mathbb {P} _{\theta }(X\in R_{T})$

一個檢定的檢定水準(size)是犯第一型錯誤概率的上確界$\alpha =\sup _{\theta \in \Theta _{0}}\beta _{T}(\theta )$。我們稱一個檢定具有顯著水平$\alpha _{0}$，如果它的檢定水準小於等於$\alpha _{0}$，即

$\alpha =\sup _{\theta \in \Theta _{0}}\beta _{T}(\theta )\leq \alpha _{0}$

假定對於所有小數$\alpha _{0}\in (0,1)$，存在一個顯著水平為$\alpha _{0}$的檢定，其拒絕域是$R_{\alpha _{0},T}$，那麼p值的數學定義是滿足包含關係$X\in R_{\alpha _{0},T}$的最小$\alpha _{0}$

${\text{ p-value }}=\inf \left\{\alpha _{0}:X\in R_{\alpha _{0},T}\right\}~(\leq \alpha _{0})$

也就是說p值是被定義為拒絕虛無假設$H_{0}$的最低顯著水平。

p值是基於數據的檢定統計量算出來的概率值。如果p值是5%，也就是說，如果以此為界拒絕虛無假設的話，那麼只有5%的可能性犯錯。虛無假設是對的，但卻拒絕了，這是錯誤的。所以說p值越大，拒絕虛無假設的理由越不充分。如果p值接近於0，拒絕虛無假設，那麼幾乎不可能犯錯，於是說明數據是極其不符合虛無假設。

換言之，p值是假設檢定中虛無假設成立或表現更嚴重的可能性。p值若與選定顯著水平（0.05或0.01）相比更小，則虛無假設會被否定而不可接受。然而這並不直接表明虛無假設正確。通常在連續分佈的假設下，p值是一個服從[0,1]區間均勻分佈的隨機變量，在實際使用中因樣本等各種因素存在不確定性。近100年來，統計學家使用p值來描述數據的統計顯著性，這種方法造成了許多人在工作中把統計顯著性的閾值(事先給定值)強行假定為大於等於實際顯著性（實際數據計算出的p值），於是強行拒絕虛無假設，做出了很多不科學的決策。p值產生的結果可能會帶來爭議。2018年，由72位科學家組成的小組在《自然·人類行為》上發表了一篇名為《重新定義統計意義》的評論文章，贊同將統計顯著性的閾值從0.05調整到0.005。這樣就使得科研人員不能強行讓如此小的統計顯著性閾值大於實際數據計算出來的p值。這篇文章的主要作者本傑明認為：「這是一個不完美的短期解決方案，但可以立即實施。我擔心的是，如果我們不立即做這事，我們將失去變革的動力，而我們最終將花費所有的時間爭論理想化的解決方案。」

在科學研究的許多領域，p值小於0.05被認為是確定實驗數據可靠性的金標準。這個標準支持了大多數已發表的科學結論，違反這一標準的論文很難發表，而且也很難得到學術機構的資助。然而，即使是費雪也明白，統計顯著性的概念以及支撐它的p值具有相當大的局限性。幾十年來，科學家也逐漸意識到了這些局限性。

歷史

p值的計算可以追溯到18世紀，當時計算的是人類出生性別比，並與男女出生概率相同的虛無假設相比的統計學差異。約翰·阿布斯諾特於1710年研究了這一問題，並檢查了倫敦從1629年到1710年的82年中每一年的出生記錄。阿布斯諾特觀察到每一年在倫敦出生的男嬰數都超過了女嬰數。考慮到虛無假設是男性或女性出生概率相同，這一觀察結果出現的概率是1/2⁸²，或約為4,836,000,000,000,000,000分之1；這個計算得到的值，用現代術語說，就是P值。這個數字小得驚人，使阿布斯諾特認為這一結果的出現不是由於幾率，而是由於神的旨意。「由此可見，支配一切的是藝術，而不是幾率」。用現代術語來說，他在p=1/2⁸²的顯著水平上拒絕了男女出生可能性相同的虛無假設。

1925年，英國遺傳學家兼統計學家羅納德·愛爾默·費雪出版了《研究者的統計方法》（Statistical Methods for Research Workers）一書。這本書的書名在當時看起來並不會「暢銷」，但實際上這本書卻取得了巨大的成功，而且還使費雪成為現代統計學之父。在這本書中，他着眼於研究人員如何將統計檢定理論應用於實際數據，以便基於數據得出他們所發現的結論。當使用某個統計假設來做檢定時，該檢定能夠概述數據與其假設的模型之間的兼容性，並生成一個p值。 費雪建議，作為一個方便的指南，研究人員可以考慮將p值設為0.05。對於這一點，他專門論述道：「在判斷某個偏差是否應該被認為是顯著的時候，將這一閾值作為判斷標準是很方便的。」他還建議，p值低於該閾值的結論是可靠的，因此不要把時間花在大於該閾值的統計結論上。因此，費雪的這一建議誕生了p小於0.05等價於所謂的統計顯著性，這成了 「顯著」的數學定義。