ID3算法(Iterative Dichotomiser 3 迭代二叉樹3代)是一個由Ross Quinlan發明的用於決策樹算法

這個算法是建立在奧卡姆剃刀的基礎上:越是小型的決策樹越優於大的決策樹(簡單理論)。儘管如此,該算法也不是總是生成最小的樹形結構。而是一個啟發式算法。奧卡姆剃刀闡述了一個信息熵的概念:

這個ID3算法可以歸納為以下幾點:

  1. 使用所有沒有使用的屬性並計算與之相關的樣本熵值
  2. 選取其中熵值最小的屬性
  3. 生成包含該屬性的節點

關於ID3算法的實現可以參考C4.5算法,它同時也是ID3的升級版。

相關主題

編輯

參考文獻

編輯
  • Mitchell, Tom M. Machine Learning. McGraw-Hill, 1997.

外部連結

編輯