1. 程式人生 > >信息論-信息熵-噪聲作用輸入矩陣產生的熵=平均信息量

信息論-信息熵-噪聲作用輸入矩陣產生的熵=平均信息量

輸出 法則 錯誤 分享 diag src 傳輸 一個 我不

技術分享圖片

問題:技術分享圖片


我們在討論的時候,利用最前面的性質 ,技術分享圖片是部分信息,技術分享圖片

是信源熵,
可是沒有關心技術分享圖片 是怎麽來的??

技術分享圖片

是因為有噪聲系統信道傳遞矩陣的除開對角線以外的元素才不等於0
要是沒有噪聲,就壓根沒有引進H(X|Y)的必要。 (信道傳遞矩陣定義參考p75面)

有一點值得特別提出,(書上p71面)對於無幹擾信道的定義,
他這裏格外強調,輸出信號Y和輸入信號X,是確定的,一一對應,

什麽是 “一一對應”?
就是我不允許你一對多,我也不允許你多對一, 一定要是雙射,既是單射,又是滿射。

按照一一對應的法則,求出來的無噪聲信道轉移概率一定可以寫成 diag{p1,p2,p3.。。。pn} 的形式。

我的輸出Y的個數=輸入X的個數=轉移矩陣的秩=n 。

以上是無噪聲的討論,

現在我加入了噪聲,勢必引起,信道轉移矩陣除開非對角線還存在元素不為0的情況。

這也就是為什麽要引入技術分享圖片是我的噪聲,引起了技術分享圖片變化。,我用原來技術分享圖片信源熵的轉移矩陣產生的信息量減去,我噪聲

技術分享圖片

產生的信息量,得到的結果就是我輸出真實的信息量

。之所以認為技術分享圖片減去技術分享圖片

,會把真實的信息減去,錯誤認為Y=f(x) 會一直不變。(對角線的元素已經變了。至少變了一個)
事實上,有噪聲的時候。無噪聲信道輸入輸出的對應法則 f 已經被噪聲打破
綜上:
利用 矩陣運算:
輸入X *(用原來滿秩的轉移矩陣的減取噪聲產生的矩陣) =平均互信息 ,

換句話說,我信息熵減去噪聲作用在信息源的熵(損失熵) 就算我真正有用的信息傳輸率

信息論-信息熵-噪聲作用輸入矩陣產生的熵=平均信息量