嶺回歸

嶺回歸（英語：ridge regression）是一種在自變量高度相關的情況下估計多元回歸模型係數的方法，它已被應用於計量經濟學、化學和工程學等許多領域，也稱為吉洪諾夫正則化（英語：Tikhonov regularization），以蘇聯數學家安德烈·吉洪諾夫的名字命名，是一種不適定問題的正則化方法。對於緩解線性回歸中的多重共線性問題特別有用，這種問題通常出現在具有大量參數的模型中。一般來說，該方法提高了參數估計問題的效率，以換取可容忍的偏差量（參見偏差-方差權衡）。

該理論最初由Hoerl和Kennard於1970年在他們發表在《Technometrics》上的論文《RIDGE回歸：非正交問題的偏差估計》（英語：RIDGE regressions: biased estimation of nonorthogonal problems）和《RIDGE回歸：在非正交問題中的應用》（英語：RIDGE regressions: applications in nonorthogonal problems）中引入 。

當線性回歸模型具有一些多重共線性（高度相關）自變量時，通過創建嶺回歸估計器（RR），嶺回歸被開發為解決最小二乘估計器不精確問題的可能解決方案。這提供了更精確的嶺參數估計，因為其方差和均方估計量通常小於先前導出的最小二乘估計量。