[白話解析] 深入淺出最大熵模型

0x00 摘要

本文將盡量使用易懂的方式，儘可能不涉及數學公式，而是從整體的思路上來看，運用感性直覺的思考來解釋最大熵模型。並且從名著中找了幾個具體應用場景來幫助大家深入這個概念。

0x01 背景概念

1. 什麼是熵？

熵這個概念可以從多個角度來理解。

1.1 從物理學角度理解熵

熵最早來原於物理學。德國物理學家魯道夫·克勞修斯首次提出熵的概念，用來表示任何一種能量在空間中分佈的均勻程度，能量分佈得越均勻，熵就越大。即，熵是表示物質系統狀態的一種度量，用它來表徵系統的無序程度。

• 熵越大，系統越無序，意味著系統結構和運動的不確定和無規則；
• 熵越小，系統越有序，意味著系統具有確定和有規則的運動狀態。

1.2 從系統複雜度理解熵

資訊熵還可以作為一個系統複雜程度的度量，即物質系統有序化，組織化，複雜化狀態的一種度量。

• 如果系統越複雜，出現不同情況的種類越多，那麼他的資訊熵是比較大的。

• 如果一個系統越簡單，出現情況種類很少（極端情況為1種情況，那麼對應概率為1，對應的資訊熵為0），此時的資訊熵較小。

熵越大則該系統不確定性就越大，該系統未來發展就存在越多的可能性。

1.3 熵的推導&定義

熵的定義是：