和猜猜看一樣，決策樹也是通過對解釋變數序列的逐條測試獲取響應變數結果的。那麼，哪個解釋變數應該先測試？直覺觀察會發現，解釋變數集合包含所有貓或者所有狗的測試，比既包含貓又包含狗的解釋變數集合的測試要好。如果子整合員種類不同，我們還是不能確定種類。我們還需要避免建立那種測試，把單獨的一隻貓或一條狗分離出去，這種做法類似於猜猜看問題中前幾輪就問非常具體的問題。更一般的情形是，這些測試極少可以分出一個樣本的種類，也不能降低分類不確定性。能夠降低分類不確定性的測試通常都是最好的測試。我們通常用熵（entropy）來度量資訊的不確定性。

以位元（bits）為計量單位，熵量化了一個變數的不確定性。熵計算公式如下所示：

其中，n是樣本的數量，P(xi)是第i個樣本的概率。b一般取2，e或10。因為對數函式中真數小於1則對數值為0，因此，公式前面加符號使熵為正數。

例如，一個硬幣投擲一次事件發生後一般有兩種可能：正面或反面。正面朝上的概率是0.5，反面朝上的概率也是0.5。那麼一個硬幣投擲一次的結果這個變數的熵：

也就是說，兩個等概率的可能值，正面和反面，只需要一個位元。如果是兩個硬幣投擲一次事件發生後一般有四種可能：正面正面，正面反面，反面反面，反面正面，每種可能的概率是0.25。其熵為：

如果硬幣的兩面相同，那麼表示其可能值的變數熵為0位元，也就是說，結果是確定的，變數再也不會產生新資訊量了。熵還可以用小數值表示。比如，一個不正常的硬幣，其正反面的材質不同，一邊重一邊輕。導致其投擲後正面朝上的概率0.8，反面朝上概率0.2。那麼其熵為：

一個不正常的硬幣投擲後其結果的熵是一個小數。雖然兩種結果都有可能，但是因為其中一種可能性更大，所有不確定性減小了。