1. 程式人生 > >機器學習專業術語

機器學習專業術語

1.什麼是泛化能力?

 在機器學習方法中,泛化能力通俗來講就是指學習到的模型對未知資料的預測能力。在實際情況中,我們通常通過測試誤差來評價學習方法的泛化能力。

 泛化能力(generalization ability)是指一個機器學習演算法對於沒有見過的樣本的識別能力。我們也叫做舉一反三的能力,或者叫做學以致用的能力。

舉個例子,通過學習,小學生就可以熟練的掌握加減法,那麼他們是怎麼做到的呢?第一步學生們先感性的知道了在有一個蘋果的基礎上再拿來一個蘋果的話就是一種加法,第二步知道個數可以用阿拉伯數字抽象的表示,到了0到9這十個數字和他們的抽象含義,第三步學習十以內的加減法,第四步推廣到了多位數的加減法。

我們訓練一個機器學習演算法也是如此,通過感性的告訴機器一個加上一個等於兩個,之後演算法通過自己的學習,推廣計算多位數的加減法,多位數的加減法是無窮多個的,如果機器在不斷的測試中都能夠算對,那麼我們認為機器已經總結出了加法的內部規律並且能夠學以致用,如果說機器只會計算你給機器看過的比如3+3=6,而不會計算沒有教過的8+9=17,那麼我們認為機器只是死記硬背,並沒有學以致用的能力,也就是說泛化能力非常的低,同時我們也把這種現象叫做這個演算法過擬合(over-fitting)了。(過擬合是一種分類器會發生的現象,而泛化能力可以理解為對分類器的一種效能的評價)

2. 什麼是過擬合

過擬合

通常可以理解為,模型的複雜度要高於實際的問題,所以就會導致模型死記硬背的記住,而沒有理解背後的規律。就比如說人腦要比唐詩複雜得多,即使不理解內容,我們也能背下來,但是理解了內容和寫法對於我們理解記憶其他唐詩有好處,如果死記硬背那麼就僅僅記住了而已。

3. 什麼是欠擬合

欠擬合(under-fitting)是和過擬合相對的現象,可以說是模型的複雜度較低,沒法很好的學習到資料背後的規律。就好像開普勒在總結天體執行規律之前,他的老師第谷記錄了很多的執行資料,但是都沒法用資料去解釋天體執行的規律並預測,這就是在天體執行資料上,人們一直處於欠擬合的狀態,只知道記錄過的過去是這樣執行的,但是不知道道理是什麼。

4. 什麼是不收斂

不收斂一般是形容一些基於梯度下降演算法的模型,收斂是指這個演算法有能力找到區域性的或者全域性的最小值,(比如找到使得預測的標籤和真實的標籤最相近的值,也就是二者距離的最小值),從而得到一個問題的最優解。如果說一個機器學習演算法的效果和瞎蒙的差不多那麼基本就可以說這個演算法沒有收斂,也就是根本沒有去學習。

擬合, 欠擬合, 過擬合與不收斂

5. 什麼是魯棒性

魯棒性亦稱健壯性穩健性強健性,是系統的健壯性,它是在異常和危險情況下系統生存的關鍵,是指系統在一定(結構、大小)的引數攝動下,維持某些效能的特性。例如,計算機軟體在輸入錯誤、磁碟故障、網路過載或有意攻擊情況下,能否不宕機、不崩潰,就是該軟體的魯棒性。響應快速性所謂的響應快速性就是處於穩定狀態的系統對於外部環境改變的快速反應能力,也是系統在受到擾動後迅速進入穩態的能力。對於生物模組來講,任何輸入訊號,無論是訊號分子、蛋白質,還是代射物,都會降解、排出或者轉化成其他物質。生物模組必須要在這些輸入訊號消失之前做出響應,才能確保自身功能的發揮。 --------------------- 本文來自 樂觀的Madge 的CSDN 部落格 ,全文地址請點選:https://blog.csdn.net/lmj1436140682/article/details/51984734?utm_source=copy