1. 程式人生 > >瑞利熵和廣義瑞利熵

瑞利熵和廣義瑞利熵

此內容轉載於這篇部落格
我們首先來看看瑞利商的定義。瑞利商是指這樣的函式R(A,x):

R(A,x)=xHAxxHx

    其中x為非零向量,而An×n的Hermitan矩陣。所謂的Hermitan矩陣就是滿足共軛轉置矩陣和自己相等的矩陣,即AH=A。如果我們的矩陣A是實矩陣,則滿足AT=A的矩陣即為Hermitan矩陣。

    瑞利商R(A,x)有一個非常重要的性質,即它的最大值等於矩陣A最大的特徵值,而最小值等於矩陣A的最小的特徵值,也就是滿足

λminxHAxxHxλmax

    具體的證明這裡就不給出了。當向量x是標準正交基時,即滿足xHx=1時,瑞利商退化為:R(A

,x)=xHAx,這個形式在譜聚類和PCA中都有出現。

    以上就是瑞利商的內容,現在我們再看看廣義瑞利商。廣義瑞利商是指這樣的函式R(A,B,x):

R(A,x)=xHAxxHBx

    其中x為非零向量,而A,Bn×n的Hermitan矩陣。B為正定矩陣。它的最大值和最小值是什麼呢?其實我們只要通過將其通過標準化就可以轉化為瑞利商的格式。我們令x=B1/2x,則分母轉化為:

xHBx=xH(B1/2)HBB1/2x=xHB1/2BB1/2x=xHx

    而分子轉化為:

xHAx=xHB1/2AB1/2x

    此時我們的R(A,B,x)轉化為R(A,B,

x):

R(A,B,x)=xHB1/2AB1/2xxHx

    利用前面的瑞利商的性質,我們可以很快的知道,R(A,B,x)的最大值為矩陣B1/2AB1/2的最大特徵值,或者說矩陣B1A的最大特徵值,而最小值為矩陣B1A的最小特徵值。如果你看過我寫的譜聚類(spectral clustering)原理總結第6.2節的話,就會發現這裡使用了一樣的技巧,即對矩陣進行標準化。