條件自資訊跟互資訊區別簡述
阿新 • • 發佈:2019-02-19
簡述
(PS部分,可以是拓展部分,可不看)
條件自資訊: 條件自資訊,本質上還是自資訊。定義上,明確指出,是在已知事件發生的條件下,的自資訊。
互資訊: 互資訊的話,並沒有想象中的那麼獨立。其實,在互資訊的定義中,就是依據自資訊來定義的。本質上是通過數學表示式定義的。但是通過這個定義式,不難直接退出一個跟自資訊相關的公式。
就這麼簡單,可以看出,互資訊,本身從定義上,就只是自信跟條件自資訊的附屬。
數學表示式的意思是: 事件 X, Y之間的互資訊就是,指事件X的自資訊跟事件Y已知的條件下,事件X的自資訊之間的差值。
不難看出,這是在對於 Y事件的發生對於X事件這件事上的自資訊的影響
而這種關係是互易性的 (這個通過對上面式子的變形很簡單推出來)。
這種互易性,也是符合邏輯的。這說明,一個事情的傳送對另外一件事的所包含的資訊量的影響,反過來也是成立的。
(PS:而這種一致性跟貝葉斯概率模型在截然不同的。當然啦,因為底層的邏輯是不一致的。因為貝葉斯本質上的資訊任然還是一種條件自資訊。條件自資訊的區別可以不同,但是由於本身的資訊的不一致,又給補全回來了。這個補全回來的意思,用到了這裡的互易性,加上貝葉斯模型上廣泛的不一致問題。)
型別 | 條件自資訊 | 互資訊 |
---|---|---|
互易性 | (不一定具有)p(x|y) 跟 p(y|x)不一定相等 | 是 |
x,y獨立時 | ||
正負性 | 不為負 | 可正可負 |