一、最大熵模型

lnx<=x−1$$lnx<=x-1$$

證明：f(x)=x−1−lnx,x>0$f(x)=x-1-lnx,x>0$，求導是凸函式，在x=1處取得極值

1、熵

熵是資訊的度量，與資訊量成反比。

資訊量：h(xi)=log21p(xi)$h(x_i)=lo{g}_2\frac{1}{p(x_i)}$

事件發生的概率越高，對應的資訊量越低，事件發生的概率越小，對應的資訊量越大。

熵是資訊量的期望：H(x)=−∑ni=1p(xi)log21p(xi)$H(x)=-\sum _{i=1}^{n}p(x_i)lo{g}_2\frac{1}{p(x_i)}$

兩點分佈的最大熵：

三點分佈：

p1=p2=p3的時候，曲面的值最高（圖1）

當X滿足均勻分佈時，熵最大：

聯合熵和條件熵

聯合熵：H(X,Y)，表示X,Y同時發生的不確定性

H(X,Y)=−∑∑p(xi,yi)log2p(xi,yi)=H(X)+H(Y|X)$$H(X,Y)=-\sum \sum p(x_i,y_i)lo{g}_{2}p(x_i,y_i)=H(X)+H(Y|X)$$

解釋：聯合熵=X發生的熵+X發生的條件下Y發生的熵

聯合熵的性質：

• 聯合熵>=變數熵中最大的
• 聯合熵<=變數熵之和

條件熵：Y發生的條件下，X發生的不確定性

相對熵

度量兩個分佈之間的差異

如果用距離度量的話，兩個分佈的點的個數要相等，如果不等的話，無法進行單個點距離的度量。

E_px 表示期望

證明D(p||q)≥0$D(p||q)\ge 0$：利用Jenson不等式，

Jensen不等式表述如下：

• 如果f是凸函式，X是隨機變數，那麼E(f(X))≥f(E(x))$E(f(X))\ge f(E(x))$

  

• 如果f是凹函式，X是隨機變數，那麼E(f(X))≤f(E(x))$E(f(X))\le f(E(x))$

交叉熵

CH(p,q)$CH(p,q)$

=−∑ip(xi)logq(xi)$=-\sum _{i}p(x_i)logq(x_i)$
=−∑ip(xi)logp(xi)+∑ip(xi)logp(xi)−∑ip(xi)logq(xi)$=-\sum _{i}p(x_i)logp(x_i)+\sum _{i}p(x_i)lo$

gp(xi)−∑ip(xi)logq(xi)
=H(pi)+∑ipilogpiqi$=H(p_i)+\sum _i{p}_{i}log\frac{p_i}{q_i}$

∴CH(p||q)=H(p)+D(p||q)$$\therefore CH(p||q)=H(p)+D(p||q)$$

互資訊

（五六行新增負號）

總結

2、最大熵模型

• 承認已知事物

• 對未知事物不做任何假設，沒有任何偏見

示例：

假設1：

假設2：

利用最大熵模型：

承認已知的X，讓未知的Y的概率最大。

寫成一般的形式：

相關推薦