1. 程式人生 > >深度學習學習筆記(一):logistic regression與Gradient descent 2018.9.16

深度學習學習筆記(一):logistic regression與Gradient descent 2018.9.16

寫在開頭:這是本人學習吳恩達在網易雲課堂上的深度學習系列課程的學習筆記,僅供參考,歡迎交流學習!

一,先介紹了logistic regression,邏輯迴歸就是根據輸入預測一個值,這個值可能是0或者1,其影象是一條s形曲線,由預測值與真實值的差距計算出loss function損失函式和cost function成本函式,損失函式值單個樣本的 效果;成本函式是用來體現整個演算法的效果,是每個樣本的損失函式的累加。接下來用梯度下降法,來找w 和b的最優解,使得成本函式最小化,就是演算法的效果最好。梯度下降演算法就是使凸函式朝向全域性最小的方向移動,無論起始點在哪裡 都可以實現。

二,然後比較了向量化,vectorization的好處,由於GPU和CPU都是單指令多資料流SIMD,使用單一指令來代替for迴圈可以極大加快運算速度,加快500倍左右,這就體現了向量化的重要性。

三,tips:python中的numpy庫非常好用,其中

import numpy as np

np.dot(a,b)是計算兩個矩陣的乘積

np.random.randn(2,3)是生成一個隨機矩陣,2*3的

並且建議生成隨機矩陣時不要a=np.random.randn(1000)只寫一個引數,這樣a.shape=(1000,),不是一個標準的矩陣,最好明確寫清楚(1,1000)還是(1000,1)否則後面容易出問題。