邏輯斯蒂迴歸和最大熵模型

邏輯斯蒂分佈

邏輯斯蒂迴歸模型

將權值向量和輸入向量加以擴充後的邏輯斯蒂模型為

模型引數估計

極大似然估計法

最大熵模型

最大熵原理：在所有可能的概率模型中，熵最大的模型是最好的模型。通常用約束條件來確定概率模型的集合。

在滿足約束條件的模型集合中選取熵最大的模型。

首先，選擇的概率模型必須滿足已有的事實，即約束條件。在沒有更多資訊的情況下，那些不確定的部分都是“等可能”的。最大熵原理通過熵的最大化來表示等可能。“等可能”不容易操作，熵是一個可優化的數值指標。

最大熵模型的定義

最大熵模型的學習等價於約束最優化問題

嗯，按照數學的習慣，最大化問題都換成最小化問題

將約束最優化的原始問題轉換為無約束最優化的對偶問題

最大熵模型的學習最後歸結為對偶函式的極大化。

這是一個拉格朗日求解的過程，求引數。

極大似然估計

對偶函式的極大化等價於最大熵模型的極大似然估計。

具體求解對數似然函式極大化或對偶函式極大化問題

模型學習就是在給定的訓練資料條件下對模型進行極大似然估計或正則化的極大似然估計。

演算法

改進的迭代尺度法

對數似然函式為：

求對數似然函式的極大值

擬牛頓法