1. 程式人生 > >神經網路和深度學習-學習總結

神經網路和深度學習-學習總結

     粗略地說,交叉熵是“不確定性”的一種度量。特別地,我們的神經元想要計算函式x-> y = y(x)。但是,它用函式x->a = a(x) 進行了替換。假設我們將a 想象成我們神經元估計為y = 1 的概率,而1-a 則是y = 0 的概率。那麼交叉熵衡量我們學習到y的正確值的平均起來的不確定性。如果輸出我們期望的結果,不確定性就會小一些;反之,不確定性就大一些。