從神經網路說起：深度學習初學者不可不知的25個術語和概念
人工智慧，深度學習和機器學習，不論你現在是否能夠理解這些概念，你都應該學習。否則三年內，你就會像滅絕的恐龍一樣被社會淘汰。
——馬克·庫班(NBA小牛隊老闆，億萬富翁)
馬克·庫班的這番話可能聽起來挺嚇人的，但道理是沒毛病的!我們正經歷一場大革命，這場革命就是由大資料和強大電腦計算能力發起的。
讓我們花幾分鐘回想一下20世紀初的景象。那個時候很多人都不懂什麼是電，在過去幾十年，甚至幾百年的時間裡，人們一直沿用一種方式去做某件事情，但是突然間，好像身邊的一切都變了。
以前需要很多人才能做成的事情，現在只需要一個人應用電力就能做成。而我們現在就正在經歷相似的變革過程，今天這場變革的主角就是機器學習和深度學習。
如果你現在還不懂深度學習的巨大力量，那你真的要抓緊時間開始學啦!這篇文章就為大家介紹了深度學習領域常用的一些術語和概念。現在就從神經網路開始講起。
神經網路基礎概念：(1)神經元——正如神經元是大腦的基本單位一樣，在神經網路結構中，神經元也是一個小單位。大家不妨想象一下當我們接觸到新的資訊時，大腦是如何運作的。
首先，我們會在腦中處理這個資訊，然後產生輸出資訊。在神經網路中也是如此，神經元接收到一個輸入資訊，然後對它進行加工處理，然後產生輸出資訊，傳輸到其他神經元中進行進一步資訊處理。
(2)權重——當輸入資訊到達神經元時，它就會乘上一個權重。舉例來說，如果一個神經元包含兩個輸入資訊，那麼每個輸入資訊都被賦予它的關聯權重。我們隨機初始化權重，並在模型訓練過程中更新這些權重。
接受訓練後的神經網路會賦予它認為重要的輸入資訊更高的權重值，而那些不重要的輸入資訊權重值則會相對較小。權重值為零就意味著這個特徵是無關緊要的。
我們不妨假設輸入資訊為a，其關聯權重為W₁,通過節點後，輸入資訊變為a*W₁：
(3)偏置 —— 除了權重之外，輸入還有另一個線性分量，被稱為偏置。輸入資訊乘上權重後再加上偏置，用來改變權重乘輸入的範圍。加上偏置之後，結果就變為a*W₁+bias，這就是輸入資訊變換的最終線性分量。
(4)啟用函式——線性分量應用可以到輸入資訊，非線性函式也可以應用到輸入資訊。這種輸入資訊過程是通過啟用函式來實現的。
啟用函式將輸入訊號翻譯成輸出訊號。啟用函式產生的輸出資訊為f(a*W₁+b)，其中f(x)就是啟用函式。
在下面的圖表中，我們可以看到，輸入資訊數量為n，表示為X₁到Xn，相應的權重為Wk₁到Wkn。將偏置設為bk。權重乘以輸入資訊，再加偏置，我們設所得的值為u：u=∑w*x+b
將u帶入啟用函式中，最後我們就可以得到從神經元輸出的yk=f（u）
最常用的啟用函式有Sigmoid、ReLU 和softmax。
Sigmoid——Sigmoid是最常用的啟用函式之一。 它的定義為：sigmoid(x)=1/(1+e∧-x)
Sigmoid函式會生成0到1之間的更平滑的取值範圍。我們可能需要觀察輸出值的變化，同時輸入值也會略有變化。而平滑的曲線更方便我們觀察，因此它優於階梯函式(step functions)。
ReLU(線性修正單位)——不同於sigmoid函式，現在的網路更傾向於使用隱層ReLu啟用函式。該函式的定義是：f(x)=max(x,0)
當X> 0時，函式的輸出為X，X <= 0時為0。該函式如下所示：
使用ReLU的好處主要是它對於大於0的所有輸入值都有對應的不變導數值。而常數導數值可以加快對網路的訓練。
Softmax——Softmax啟用函式常用於輸出層的分類問題。 它與sigmoid函式類似，唯一的區別是在Softmax啟用函式中，輸出被歸一化，總和變為1。
如果我們遇到的是二進位制輸出問題，就可以使用Sigmoid函式，而如果我們遇到的是多型別分類問題，使用softmax函式可以輕鬆地為每個型別分配值，並且可以很容易地將這個值轉化為概率。
這樣看可能更容易理解一些——假設你正在嘗試識別一個看起來像8實際為6的數。該函式將為每個數字賦值，如下所示。我們可以很容易地看出，最高概率被分配給了6，下一個最高概率則分配給8，依此類推…
(5)神經網路 ——神經網路是深度學習的主幹之一。神經網路的目標是找到未知函式的一個近似值。它由相互聯絡的神經元組成。
這些神經元具有權重，並且會根據出錯情況，在網路訓練期間更新偏置值。啟用函式將非線性變換置於線性組合，之後生成輸出。被啟用的神經元組合再產生輸出。
對神經網路的定義中，以Liping Yang的最為貼切：
“神經網路由許多相互關聯的概念化的人造神經元組成，這些人造神經元之間可以互相傳遞資料，並且具有根據網路‘經驗’調整的相關權重。
神經元具有啟用閾值，如果結合相關權重組合並激活傳遞給他們的資料，神經元的啟用閾值就會被解除，啟用的神經元的組合就會開始‘學習’。”
本文由 燈塔大資料 投稿至36大資料，並經由36大資料編輯釋出，轉載必須獲得原作者和36大資料許可，並標註來源36大資料，任何不經同意的轉載均為侵權。