1. 程式人生 > >吳恩達深度學習筆記(9)-導數的簡單推導介紹

吳恩達深度學習筆記(9)-導數的簡單推導介紹

導數(Derivatives)

這個筆記我主要是想幫你獲得對微積分和導數直觀的理解。
在這裡插入圖片描述
或許你認為自從大學畢以後你再也沒有接觸微積分。

為了高效應用神經網路和深度學習,你並不需要非常深入理解微積分(這個哦,並不需要深入瞭解)。因此如果你觀看這個視訊或者以後的視訊時心想:“哇哦,這些知識、這些運算對我來說很複雜。”

我給你的建議是:堅持學習吳恩達老師的視訊或者跟隨者筆記來學習,然後你就可以使用深度學習了。

在後面的學習中,你會看到定義的很多種類的函式,通過微積分他們能夠幫助你把所有的知識結合起來,其中有的叫做前向函式和反向函式,因此你不需要了解所有你使用的那些微積分中的函式。所以你不用擔心他們,除此之外在對深度學習的嘗試中,這周我們要進一步深入瞭解微積分的細節。所有你只需要直觀地認識微積分,用來構建和成功的應用這些演算法。
在這裡插入圖片描述

一個函式f(a) = 3a ,它是一條直線(這個是線性的,很好理解!)。

下面我們來簡單理解下導數。

讓我們看看函式中幾個點,

假定 a =2,那麼f(a)是a 的3倍等於6,也就是說如果a =2 ,那麼函式f(a) =6 。

假定稍微改變一點點a的值,只增加一點,變為2.001,這時a將向右做微小的移動。0.001的差別實在是太小了,不能在圖中顯示出來,我們把它右移一點,現在 f(a) 等於a 的3倍是6.003,畫在上圖裡,雖然比例不太符合。請看綠色高亮部分的這個小三角形,如果向右移動0.001,那麼 f(a) 增加0.003,f(a)的值增加3倍於右移的a,因此我們說函式f(a)在a=2 ,是這個導數的斜率,或者說,當a=2 時,斜率是3。

導數這個概念意味著斜率,導數聽起來是一個很可怕、很令人驚恐的詞,但是斜率以一種很友好的方式來描述導數這個概念。

所以提到導數,我們把它當作函式的斜率就好了。更正式的斜率定義為在上圖這個綠色的小三角形中,高除以寬。即斜率等於0.003除以0.001,等於3。或者說導數等於3,這表示當你將 右移0.001, f(a) 的值增加3倍水平方向的量。

現在讓我們從不同的角度理解這個函式。

假設a=5,此時f(a)=3a=15 。

把a右移一個很小的幅度,增加到5.001,f(a)=15.003 。 即在 a=5 時,斜率是3,這就是表示,當微小改變變數a 的值
在這裡插入圖片描述
一個等價的導數表示式可以這樣寫

在這裡插入圖片描述
,不管你是否將 f(a) 放在上面或者放在右邊都沒有關係。

這邊筆記講解導數討論的情況是我們將a偏移0.001,如果你想知道導數的數學定義,導數是你右移很小的a值(不是0.001,而是一個非常非常小的值)。通常導數的定義是你右移a(可度量的值)一個無限小的值, f(a) 增加3倍(增加了一個非常非常小的值)。也就是這個三角形右邊的高度。
在這裡插入圖片描述

那就是導數的正式定義。但是為了直觀的認識,我們將探討右移 a=0.001 這個值,即使0.001並不是無窮小的可測資料。導數的一個特性是:這個函式任何地方的斜率總是等於3,不管a=2 或a=5 ,這個函式的斜率總等於3,也就是說不管a的值如何變化,如果你增加0.001, f(a) 的值就增加3倍。這個函式在所有地方的斜率都相等。一種證明方式是無論你將小三角形畫在哪裡,它的高除以寬總是3。

這篇筆記希望帶給你一種感覺:

什麼是斜率?什麼是導函式?對於一條直線,在例子中函式的斜率,在任何地方都是3。

今天只是講了一個簡單的直線的導數問題,下一篇帶來曲線的導數的推導和介紹,希望能讓大家更進一步瞭解導數的概念!