[白話解析] 深入淺出最大熵模型

0x00 摘要

本文將盡量使用易懂的方式,儘可能不涉及數學公式,而是從整體的思路上來看,運用感性直覺的思考來解釋最大熵模型。並且從名著中找了幾個具體應用場景來幫助大家深入這個概念。

0x01 背景概念

1. 什麼是熵?

熵這個概念可以從多個角度來理解。

1.1 從物理學角度理解熵

熵最早來原於物理學。德國物理學家魯道夫·克勞修斯首次提出熵的概念,用來表示任何一種能量在空間中分佈的均勻程度,能量分佈得越均勻,熵就越大。即,熵是表示物質系統狀態的一種度量,用它來表徵系統的無序程度。

  • 熵越大,系統越無序,意味著系統結構和運動的不確定和無規則;
  • 熵越小,系統越有序,意味著系統具有確定和有規則的運動狀態。

1.2 從系統複雜度理解熵

資訊熵還可以作為一個系統複雜程度的度量,即物質系統有序化,組織化,複雜化狀態的一種度量。

  • 如果系統越複雜,出現不同情況的種類越多,那麼他的資訊熵是比較大的。

  • 如果一個系統越簡單,出現情況種類很少(極端情況為1種情況,那麼對應概率為1,對應的資訊熵為0),此時的資訊熵較小。

熵越大則該系統不確定性就越大,該系統未來發展就存在越多的可能性。

1.3 熵的推導&定義

熵的定義是: