卡方檢驗
卡方檢定(Chi-Squared Test或 Test)是一種統計量的分佈在虛無假說成立時近似服從卡方分佈(分佈)的假設檢定。在沒有其他的限定條件或說明時,卡方檢定一般代指的是皮爾森卡方檢定。在卡方檢定的一般運用中,研究人員將觀察量的值劃分成若干互斥的分類,並且使用一套理論(或虛無假說)嘗試去說明觀察量的值落入不同分類的概率分佈的模型。而卡方檢定的目的就在於去衡量這個假設對觀察結果所反映的程度。
歷史
編輯在十九世紀,統計分析方法主要被用於生物數據分析。當時主流意見認為正態分佈普遍適用於此類數據,例如喬治·比德爾·艾里爵士以及梅里曼教授,而卡爾·皮爾森在他1900年的論文中就針對了他們的研究數據作出了指正[1]。
直到十九世紀末期,皮爾森指出了部分數據具有明顯的偏態,正態分佈並不是普遍適用。為了更好地對這些觀察數據進行建模,皮爾森在1893年至1916年發表的系列文章[2][3][4][5]中提出了一個包含正態分佈以及眾多偏態分佈的連續概率分佈族——皮爾森分佈族。同時,他指出數據統計分析的步驟應該是在從皮爾森分佈族中選取合適的分佈來進行建模後,使用適合度檢定技術來評價模型和實驗數據間的適合度。
著名的卡方檢定
編輯皮爾森卡方檢定
編輯在1900年,皮爾森發表了著名的關於 檢定的文章[1],該文章被認為是現代統計學的基石之一[6]。在該文章中,皮爾森研究了適合度檢定:
假設實驗中從總體中隨機取樣得到的 個觀察值被劃分為 個互斥的分類,這樣每個分類都有一個對應的實際觀察次數 ( )。研究人員會對實驗中各個觀察值落入第 個分類的概率 的分佈提出虛無假說,從而獲得了對應所有第 分類的理論期望值次數 以及限制條件
- 以及 。
皮爾森提出,在上述虛無假說成立以及 趨向 的時候,以下統計量的極限分佈趨向 分佈。
皮爾森首先討論虛無假說中所有分類的理論期望值次數 均為足夠大且已知的情況,同時假設各分類的實際觀測次數 均服從正態分佈。皮爾森由此得到當樣本容量 足夠大時, 趨近服從自由度為 的 分佈。
然而,皮爾森在討論當虛無假說中的理論期望值次數 未知並依賴於必須由樣本去進行估計的若干參數的情況時,記 為實際的理論期望值次數以及 為估計的理論期望值次數,認為
的值通常為正且足夠小以至於可以忽略。皮爾森總結為,如果我們認為 也服從自由度為 的 分佈,那麼由此近似帶來的誤差通常足夠小並不會對實際決策的結論帶來實質性的影響。這個結論在應用層面造成了長達20年的爭論,直到費歇爾在1922年及1924年的論文[7][8]發表後才暫告一段落。
其他卡方檢定例子
編輯- 皮爾森卡方檢定,是最有名的卡方檢驗,有兩種用途,分別是「適配度檢定」(Goodness of Fit test)以及「獨立性檢定」。科學文章中,當提到卡方檢定而沒有特別註明是哪一種時,通常便是指皮爾森卡方檢定。
- 葉氏連續性修正:當用皮爾森卡方檢定做獨立性檢定時,若任何一個欄位的期望值次數小於5,會使「近似於卡方分配」的假設不可信,統計值會系統性地偏高,導致過度地拒絕虛無假設,此時可以做葉氏連續性修正。
- Cochran–Mantel–Haenszel chi-squared test。
- McNemar's test,用於某些 2 × 2 表格的配對樣本。
- Tukey's test of additivity。
- portmanteau test,用於時間數列分析裏檢定自相關的存在。
- 似然比檢定(英語:likelihood ratio test),在建立統計模型時,用於檢定證據是否支持某個複雜的模型(使用變數較多)優於簡單的模型(使用變數較少),其中簡單模型所使用的變數全部包含於複雜模型中。
運用
編輯- 建立虛無假設(Null Hypothesis),即認為觀測值與理論值的差異是由於隨機誤差所致;
- 確定數據間的實際差異,即求出卡方值;
- 如卡方值大於某特定概率標準(即顯著性差異)下的理論值,則拒絕虛無假說,即實測值與理論值的差異在該顯著水準下是顯著的。
相關條目
編輯外部連結
編輯腳註
編輯- ^ 1.0 1.1 Pearson, Karl. On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling (PDF). Philosophical Magazine Series 5. 1900, 50: 157–175 [2017-07-27]. doi:10.1080/14786440009463897. (原始內容存檔 (PDF)於2018-11-23).
- ^ Pearson, Karl. Contributions to the mathematical theory of evolution [abstract]. Proceedings of the Royal Society. 1893, 54: 329–333. JSTOR 115538. doi:10.1098/rspl.1893.0079.
- ^ Pearson, Karl. Contributions to the mathematical theory of evolution, II: Skew variation in homogeneous material. Philosophical Transactions of the Royal Society. 1895, 186: 343–414. Bibcode:1895RSPTA.186..343P. JSTOR 90649. doi:10.1098/rsta.1895.0010.
- ^ Pearson, Karl. Mathematical contributions to the theory of evolution, X: Supplement to a memoir on skew variation. Philosophical Transactions of the Royal Society A. 1901, 197: 443–459. Bibcode:1901RSPTA.197..443P. JSTOR 90841. doi:10.1098/rsta.1901.0023.
- ^ Pearson, Karl. Mathematical contributions to the theory of evolution, XIX: Second supplement to a memoir on skew variation. Philosophical Transactions of the Royal Society A. 1916, 216: 429–457. Bibcode:1916RSPTA.216..429P. JSTOR 91092. doi:10.1098/rsta.1916.0009.
- ^ Cochran, William G. The Chi-square Test of Goodness of Fit. The Annals of Mathematical Statistics. 1952, 23: 315–345. JSTOR 2236678.
- ^ Fisher, Ronald A. On the Interpretation of chi-squared from Contingency Tables, and the Calculation of P. Journal of the Royal Statistical Society. 1922, 85: 87–94. JSTOR 2340521.
- ^ Fisher, Ronald A. The Conditions Under Which chi-squared Measures the Discrepancey Between Observation and Hypothesis. Journal of the Royal Statistical Society. 1924, 87: 442–450. JSTOR 2341149.