卡方检验
卡方检验(Chi-Squared Test或 Test)是一种统计量的分布在零假设成立时近似服从卡方分布(分布)的假设检验。在没有其他的限定条件或说明时,卡方检验一般代指的是皮尔森卡方检定。在卡方检验的一般运用中,研究人员将观察量的值划分成若干互斥的分类,并且使用一套理论(或零假设)尝试去说明观察量的值落入不同分类的概率分布的模型。而卡方检验的目的就在于去衡量这个假设对观察结果所反映的程度。
历史
编辑在十九世纪,统计分析方法主要被用于生物数据分析。当时主流意见认为正态分布普遍适用于此类数据,例如乔治·比德尔·艾里爵士以及梅里曼教授,而卡尔·皮尔森在他1900年的论文中就针对了他们的研究数据作出了指正[1]。
直到十九世纪末期,皮尔森指出了部分数据具有明显的偏态,正态分布并不是普遍适用。为了更好地对这些观察数据进行建模,皮尔森在1893年至1916年发表的系列文章[2][3][4][5]中提出了一个包含正态分布以及众多偏态分布的连续概率分布族——皮尔森分布族。同时,他指出数据统计分析的步骤应该是在从皮尔森分布族中选取合适的分布来进行建模后,使用拟合优度检验技术来评价模型和实验数据间的拟合优度。
著名的卡方检验
编辑皮尔森卡方检验
编辑在1900年,皮尔森发表了著名的关于 检验的文章[1],该文章被认为是现代统计学的基石之一[6]。在该文章中,皮尔森研究了拟合优度检验:
假设实验中从总体中随机取样得到的 个观察值被划分为 个互斥的分类,这样每个分类都有一个对应的实际观察次数 ( )。研究人员会对实验中各个观察值落入第 个分类的概率 的分布提出零假设,从而获得了对应所有第 分类的理论期望次数 以及限制条件
- 以及 。
皮尔森提出,在上述零假设成立以及 趋向 的时候,以下统计量的极限分布趋向 分布。
皮尔森首先讨论零假设中所有分类的理论期望次数 均为足够大且已知的情况,同时假设各分类的实际观测次数 均服从正态分布。皮尔森由此得到当样本容量 足够大时, 趋近服从自由度为 的 分布。
然而,皮尔森在讨论当零假设中的理论期望次数 未知并依赖于必须由样本去进行估计的若干参数的情况时,记 为实际的理论期望次数以及 为估计的理论期望次数,认为
的值通常为正且足够小以至于可以忽略。皮尔森总结为,如果我们认为 也服从自由度为 的 分布,那么由此近似带来的误差通常足够小并不会对实际决策的结论带来实质性的影响。这个结论在应用层面造成了长达20年的争论,直到费歇尔在1922年及1924年的论文[7][8]发表后才暂告一段落。
其他卡方检验例子
编辑- 皮尔逊卡方检验,是最有名的卡方检验,有两种用途,分别是“适配度检验”(Goodness of Fit test)以及“独立性检验”。科学文章中,当提到卡方检验而没有特别注明是哪一种时,通常便是指皮尔逊卡方检验。
- 叶氏连续性修正:当用皮尔逊卡方检验做独立性检验时,若任何一个栏位的期望次数小于5,会使“近似于卡方分配”的假设不可信,统计值会系统性地偏高,导致过度地拒绝零假设,此时可以做叶氏连续性修正。
- Cochran–Mantel–Haenszel chi-squared test。
- McNemar's test,用于某些 2 × 2 表格的配对样本。
- Tukey's test of additivity。
- portmanteau test,用于时间数列分析里检验自相关的存在。
- 似然比检验(英语:likelihood ratio test),在建立统计模型时,用于检验证据是否支持某个复杂的模型(使用变量较多)优于简单的模型(使用变量较少),其中简单模型所使用的变量全部包含于复杂模型中。
运用
编辑- 建立零假设(Null Hypothesis),即认为观测值与理论值的差异是由于随机误差所致;
- 确定数据间的实际差异,即求出卡方值;
- 如卡方值大于某特定概率标准(即显著性差异)下的理论值,则拒绝虚无假说,即实测值与理论值的差异在该显著水平下是显著的。
相关条目
编辑外部链接
编辑脚注
编辑- ^ 1.0 1.1 Pearson, Karl. On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling (PDF). Philosophical Magazine Series 5. 1900, 50: 157–175 [2017-07-27]. doi:10.1080/14786440009463897. (原始内容存档 (PDF)于2018-11-23).
- ^ Pearson, Karl. Contributions to the mathematical theory of evolution [abstract]. Proceedings of the Royal Society. 1893, 54: 329–333. JSTOR 115538. doi:10.1098/rspl.1893.0079.
- ^ Pearson, Karl. Contributions to the mathematical theory of evolution, II: Skew variation in homogeneous material. Philosophical Transactions of the Royal Society. 1895, 186: 343–414. Bibcode:1895RSPTA.186..343P. JSTOR 90649. doi:10.1098/rsta.1895.0010.
- ^ Pearson, Karl. Mathematical contributions to the theory of evolution, X: Supplement to a memoir on skew variation. Philosophical Transactions of the Royal Society A. 1901, 197: 443–459. Bibcode:1901RSPTA.197..443P. JSTOR 90841. doi:10.1098/rsta.1901.0023.
- ^ Pearson, Karl. Mathematical contributions to the theory of evolution, XIX: Second supplement to a memoir on skew variation. Philosophical Transactions of the Royal Society A. 1916, 216: 429–457. Bibcode:1916RSPTA.216..429P. JSTOR 91092. doi:10.1098/rsta.1916.0009.
- ^ Cochran, William G. The Chi-square Test of Goodness of Fit. The Annals of Mathematical Statistics. 1952, 23: 315–345. JSTOR 2236678.
- ^ Fisher, Ronald A. On the Interpretation of chi-squared from Contingency Tables, and the Calculation of P. Journal of the Royal Statistical Society. 1922, 85: 87–94. JSTOR 2340521.
- ^ Fisher, Ronald A. The Conditions Under Which chi-squared Measures the Discrepancey Between Observation and Hypothesis. Journal of the Royal Statistical Society. 1924, 87: 442–450. JSTOR 2341149.