表徵學習

在機器學習中，特徵學習（feature learning）或表徵學習（representation learning）是學習一個特徵的技術的集合：將原始數據轉換成為能夠被機器學習來有效開發的一種形式。它避免了手動提取特徵的麻煩，允許計算機學習使用特徵的同時，也學習如何提取特徵：學習如何學習。

機器學習任務，例如分類問題，通常都要求輸入在數學上或者在計算上都非常便於處理，在這樣的前提下，特徵學習就應運而生了。然而，現實世界中的數據，例如圖片、影片，以及感測器的測量值都非常的複雜、冗長又多變，如何有效的提取出特徵並且將其表達出來成為了一個重要挑戰。傳統的手動提取特徵需要大量的人力並且依賴於非常專業的知識。同時，還不便於推廣。這就要求特徵學習技術的整體設計非常有效，自動化，並且易於推廣。

特徵學習可以被分為兩類：監督的和無監督的，類似於機器學習。

• 在監督特徵學習中，被標記過的數據被當做特徵用來學習。例如神經網絡，多層感知器，(監督)字典學習。
• 在無監督特徵學習中，未被標記過的數據被當做特徵用來學習。例如(無監督)字典學習，獨立成分分析，自動編碼，矩陣分解 ，各種聚類分析及其變形。

監督特徵學習

監督特徵學習就是從被標記的數據中學習特徵。大致有以下幾種方法。

監督字典學習

總體來說，字典學習是為了從輸入數據獲得一組的表徵元素，使每一個數據點可以（近似的）通過對表徵元素加權求和來重構。字典中的元素和權值可以通過最小化表徵誤差來得到。通過L1正則化可以讓權值變得稀疏（例，每一個數據點的表徵只有幾個非零的權值）。

監督字典學習利用輸入數據的結構和給定的標籤（輸出）來優化字典。例如，2009年Mairal等人提出的一種監督字典學習方案被應用在了分類問題上。這個方案的優化目標包括最小化分類誤差，表徵誤差，權值的1範數（L1正則化）和分類器參數的2範數。 有監督的字典學習可以被視為一個三層神經網絡（一層隱含層），第一層（輸入層）到第二層（隱含層）是表徵學習，第二層到第三層（輸出）是分類器的參數回歸。

神經網絡

神經網絡是通過多層由內部相連的節點組成的網絡的一個學習算法。它的命名是受到神經系統的啟發，它的每一個節點就像神經系統裏的神經元，而每一條邊就像一條突觸。神經網絡裏面的每一條邊都有對應的權值，而整個網絡則定義運算法則將輸入數據轉換成為輸出。神經網絡的網絡函數通過權值來刻畫輸入層跟輸出層之間的關係。通過適當的調整網絡函數，可以儘量最小化損耗的同時解決各種各樣的機器學習任務。

無監督特徵學習

另見

• 特徵檢測
• 向量量化
• 深度學習