核迴歸(又稱局部加權線性迴歸)是統計學中用於估計隨機變量條件期望值非參數方法。目的是找到一對隨機變量XY之間的非線性關係。

在任何非參數迴歸中 ,變量的條件期望值 相對於變量可以寫成:

m為一個未知函數。

Nadaraya–Watson核迴歸

編輯

1964年, Nadaraya和Watson都提出了估算 作為局部加權平均值,使用內核作為加權函數的方法。 [1] [2] [3] Nadaraya–Watson估計量為:

 

 是一個帶寬為   的核。 分母是一個總和為1的加權項。

推導

編輯

 

內核密度估計用於具有內核K的聯合分佈f(x,y)f(x)

 ,  ,

我們得到

 

這便是Nadaraya–Watson估計量。

Priestley–Chao核估計函數

編輯

 

此處   為帶寬(或平滑參數)。

Gasser–Müller核估計函數

編輯

 

此處  

示例

編輯

此示例基於加拿大截面工資數據,該數據由1971年加拿大人口普查公用帶中的隨機樣本組成,這些樣本適用於受過普通教育的男性(13年級)。共有205個觀測值。

右圖顯示了使用二階高斯核以及漸近變化範圍的估計迴歸函數

程序實例

編輯

以下R語言命令使用npreg()函數提供最佳平滑效果並創建上面給出的圖形。 這些命令可以通過剪切和粘貼在命令提示符下輸入。

 install.packages("np")
 library(np) # non parametric library
 data(cps71)
 attach(cps71)

 m <- npreg(logwage~age)

 plot(m,plot.errors.method="asymptotic",
   plot.errors.style="band",
   ylim=c(11,15.2))

 points(age,logwage,cex=.25)

相關資料

編輯

大衛·薩爾斯堡 (David Salsburg)指出 ,用於內核迴歸的算法是獨立開發的,並且已用於模糊系統 :「通過幾乎完全相同的計算機算法,模糊系統和基於內核密度的迴歸似乎是完全獨立於彼此而開發的。 」 [4]

統計實現

編輯

相關資料

編輯
  • 內核平滑
  • 局部迴歸

參考文獻

編輯
  1. ^ Nadaraya, E. A. On Estimating Regression. Theory of Probability and Its Applications. 1964, 9 (1): 141–2. doi:10.1137/1109020. 
  2. ^ Watson, G. S. Smooth regression analysis. Sankhyā: The Indian Journal of Statistics, Series A. 1964, 26 (4): 359–372. JSTOR 25049340. 
  3. ^ Bierens, Herman J. https://books.google.com/books?id=M5QBuJVtbWQC&pg=PA212 |chapterurl=缺少標題 (幫助). The Nadaraya–Watson kernel regression function estimator. New York: Cambridge University Press. 1994: 212–247. ISBN 0-521-41900-X. 
  4. ^ Salsburg, D. The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. W.H. Freeman. 2002: 290–91. ISBN 0-8050-7134-2. 
  5. ^ Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. Singapore: World Scientific Publishing. 2012. ISBN 978-981-4405-48-5. 
  6. ^ np: Nonparametric kernel smoothing methods for mixed data types. [2019-10-14]. (原始內容存檔於2020-08-17). 
  7. ^ Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R. CRC Press. 2014: 98–106. ISBN 978-1-4398-7343-4. 

延申閱讀

編輯

外部連結

編輯