1. 程式人生 > >機器學習之微積分與概率論入門1

機器學習之微積分與概率論入門1

公式 連續 === 等於 產品 c2c ges cto mar

這兩門學科作為機器學習的必備科目!

一、微積分
1夾逼定理
通俗的講:A≤B≤C
當求極限時,存在A=C,則說明B也等於A和C
案例1:
技術分享圖片

案例2:
技術分享圖片

2 兩個重要極限
技術分享圖片
技術分享圖片

3 導數
通俗的講就是曲線的斜率
二階導數是斜率變化快慢的反應,表征曲線的凹凸性
常用的函數的導數
技術分享圖片

案例1:
求冪指函數的套路
技術分享圖片

===重要公式之,泰勒公式:
技術分享圖片
簡單應用:
技術分享圖片

4 方向導數和梯度函數
(1)方向導數:如果函數z=f(x,y)在點P(x,y)是可微分的,那麽,函數在該點沿任一方向L的方向導數都存在,且有:
技術分享圖片
其中,ψ為x軸到方向L的轉角

(2)梯度函數:
設函數z=f(x,y)在平面區域D內具有一階連續偏導數,則對於每一個點P(x,y)∈D,向量
技術分享圖片
為函數z=f(x,y)在點P的梯度,記做gradf(x,y)

? 梯度的方向是函數在該點變化最快的方向
? 考慮一座解析式為H(x,y)的山。在(x0,y0)點的梯度是在
該點坡度最陡的方向。
? 梯度下降法

5 凸函數和凹函數
定理:f(x)在區間[a,b]上連續,在(a,b)內二階
可導,那麽:
? 若f’’(x)>0,則f(x)是凸的;
? 若f’’(x)<0,則f(x)是凹的;
技術分享圖片

應用案例:
設p(x)、q(x)是在X中取值的兩個概率分布,給定如下定義式技術分享圖片

求解過程:
技術分享圖片

二、概率論:
1 古典概率例題:
舉例:將n個不同的球放入N(N≥n)個盒子中,假設盒子容量無限,求事件A={每個盒子至多有1個球}的概率。
技術分享圖片

2裝箱問題:
將12件正品和3件次品隨機裝在3個箱子中。每箱中恰有1件次品的概率是多少?

求解:
將15件產品裝入3個箱子,每箱裝5件,共有15!/(5!5!5!)種裝法;
? 先把3件次品放入3個箱子,有3!種裝法。對於這樣的每一種裝法,把其余12件產品裝入3個箱子,每箱裝4件,共有12!/(4!4!4!)種裝法;
? P(A)= (3!*12!/(4!4!4!)) / (15!/(5!5!5!)) = 25/91
技術分享圖片

3 幾個經典的概率公式:
技術分享圖片

4 各種分布模型
(1)0-1分布:
技術分享圖片

(2)二項分布:
技術分享圖片

(3)泊松分布:
技術分享圖片
技術分享圖片

(4)均勻分布:
技術分享圖片

(5)指數分布:
技術分享圖片

(6)正態分布:
技術分享圖片
技術分享圖片技術分享圖片

5 Logistic函數 :
技術分享圖片
記住:f‘(x)=f(x)(1-f(x))

機器學習之微積分與概率論入門1