1. 程式人生 > >條件自資訊跟互資訊區別簡述

條件自資訊跟互資訊區別簡述

簡述

(PS部分,可以是拓展部分,可不看)
條件自資訊: 條件自資訊,本質上還是自資訊。定義上,明確指出,是在已知事件y=bj發生的條件下,x=ai的自資訊。

互資訊: 互資訊的話,並沒有想象中的那麼獨立。其實,在互資訊的定義中,就是依據自資訊來定義的。本質上是通過數學表示式定義的。但是通過這個定義式,不難直接退出一個跟自資訊相關的公式。

I(X;Y)=I(X)I(X|Y)
就這麼簡單,可以看出,互資訊,本身從定義上,就只是自信跟條件自資訊的附屬。
數學表示式的意思是: 事件 X, Y之間的互資訊就是,指事件X的自資訊跟事件Y已知的條件下,事件X的自資訊之間的差值。

不難看出,這是在對於 Y事件的發生對於X事件這件事上的自資訊的影響

的考量。
而這種關係是互易性的 (這個通過對上面式子的變形很簡單推出來)。
這種互易性,也是符合邏輯的。這說明,一個事情的傳送對另外一件事的所包含的資訊量的影響,反過來也是成立的
(PS:而這種一致性跟貝葉斯概率模型在截然不同的。當然啦,因為底層的邏輯是不一致的。因為貝葉斯本質上的資訊任然還是一種條件自資訊。條件自資訊的區別可以不同,但是由於本身的資訊的不一致,又給補全回來了。這個補全回來的意思,用到了這裡的互易性,加上貝葉斯模型上廣泛的不一致問題。

型別 條件自資訊 互資訊
互易性 (不一定具有)p(x|y) 跟 p(y|x)不一定相等
x,y獨立時 I(X|Y)=I(X) I(X;Y)=0
正負性 不為負 可正可負