決策樹(Decision Tree）是在已知各種情況發生概率的 基礎上，通過構成決策樹來求取淨現值的 期望值大於等於零的概率，評價專案風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由於這種決策分支畫成圖形很像一棵樹的枝幹，故稱決策樹。在機器學習中，決策樹是一個預測模型，他代表的是物件屬性與物件值之間的一種對映關係。Entropy = 系統的凌亂程度，使用演算法 ID3,  C4.5和C5.0生成樹演算法使用熵。這一度量是基於資訊學理論中熵的概念。 決策樹是一種樹形結構，其中每個內部節點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節點代表一種類別。 分類樹（決策樹）是一種十分常用的分類方法。他是一種監管學習，所謂監管學習就是給定一堆樣本，每個樣本都有一組屬性和一個類別，這些類別是事先確定的，那麼通過學習得到一個分類器，這個分類器能夠對新出現的物件給出正確的分類。這樣的機器學習就被稱之為監督學習。

一、什麼是決策樹

二、資訊熵

 

三、使用資訊熵尋找最優劃分