費雪線性判別

模式識別中,費雪線性判別(Fisher's linear discriminant)是一種線性判別方法,其意圖是在分類類別為c類時,將d維空間(樣品點是d維向量)中的數據點投影到c-1維空間上去,使得不同類的樣本點在這個空間上的投影儘量分離,同類的儘量緊湊。

兩類情況

編輯

在二類判別時,費雪線性判別將d維空間中的數據點投影到一條直線上去,使得不同類的樣本點在這條直線上的投影儘量分離,同類的樣本點在這條直線上儘量緊湊。假設有兩類樣本集 的類別為ω1,樣本數為n1 的類別為ω2,樣本數為n2。定義樣本均值mi和類內散布Si

 
 

投影直線的方向向量為w,樣本投影在直線上的值為y。則可得兩類樣本投影后的均值和類內散布為  i=1,2。

 
 

要使不同類的樣本點的投影儘量分離,同類儘量緊湊,可以使兩類的投影的均值的差異儘量大,其方差的和儘量小,也就是要求 最大化。

 
 

可以證明當w滿足 ,即w的方向與 相同時,J(w)取得最大值。剩下的問題就是如何求解閾值w0,也就是在這個一維空間中把兩類分開的那個點的位置。當J(w)超過w0就判決為某一類別ω,否則就判決為另一類別。然而目前並沒有一個通用的選取方法。

在兩個類別的分布是多元正態分布,且協方差矩陣相同時,根據貝葉斯決策理論, ,並且w0是一個與w和先驗概率有關的常數。我們可以用樣本均值與樣本協方差去估計uiΣ。更一般地說,如果我們對投影后的數據進行平滑,或用一維高斯函數進行擬合,ω0就位於使兩類的後驗概率相同的位置上。

多類情況

編輯

費雪線性判別在面對二類判別時,將兩類樣本向一條直線投影,也就是將數據從d維空間向1維空間投影。這樣在面對c個類的判別時,所要做就是將數據從d維空間向c-1維空間投影。這就需要推廣投影方程、類間散布矩陣SB和類內散布矩陣SW。從d維空間向c-1維空間的投影是通過c-1投影方程進行的:

 

這裡的 為第i類的樣本集。設 ,c-1個方程可以更簡練地表達:

 

這裡的 為第i類的樣本的投影向量集。類間散布矩陣SB和類內散布矩陣SW可以由總體散布矩陣ST和總體均值向量m推導得到:  

 

由此定義類間散布矩陣SB和類內散布矩陣SW

 

 

那麼樣本數據的投影向量的類間散布矩陣 和類內散布矩陣 :即為:

 

 

與兩類情況類似,要找到某一W使得類內散布儘量小,類間散布儘量大。但這裡的類內散布和類間散布不再是一個值,而是一個矩陣。矩陣的行列式是矩陣的特徵值的乘積,也就是數據在各個主要方向的方差的積,相當於類別散布超橢球體的體積的平方。故使用行列式來度量散布,這樣判別函數即為 

可以證明,當W的列向量wi 的廣義特徵向量時,可以使得J(w)最大。因為SB中c個秩為1或0的矩陣相加,而且其中只有c-1個矩陣是相互獨立的。所以SB的秩最多為c-1。所以最多只有c-1個特徵向量是非零的。

應用

編輯

人臉識別

編輯

人臉識別中,每一個人臉圖像具有大量的像素點。LDA主要用來將特徵減少到一個可以處理的數目在進行分類。每一個新的維度都是原先像素值的線性組合,這就構成了一個模板。這樣獲得的線性組合被稱為Fisher faces,而通過主成分分析獲得的則稱為特徵臉

參考文獻

編輯
  • Duda, R. O.; Hart, P. E.; Stork, D. H. Pattern Classification 第2版. 機械工業出版社. 2004. ISBN 7-111-13687-X.