說明

該文為筆者在微信公眾號：吳恩達deeplearningai 所推送《機器學習訓練祕籍》系列文章的學習筆記，公眾號二維碼如下，1到15課課程連結點這裡

該系列文章主要是吳恩達先生在機器學習方面的經驗分享和基礎教程，每一章十分短小，旨在讓我們能在碎片化的時間中一點點熟悉機器學習的相關知識。

想看該系列文章英文版最新章節的同學請點選這裡進行郵件訂閱

第1至15章

1、2、3、決策方案很重要

-方案示例：
1、獲取更多的資料，即收集更多貓的圖片

2、收集更加多樣化的訓練資料集，比如處於不常見位置的貓的圖片，顏色奇異的貓的圖片，以及使用不同相機引數拍攝的貓的圖片

3、通過增加梯度下降（gradient descent）的迭代次數，使演算法訓練得久一些

4、嘗試一個擁有更多層（layer）/更多隱藏元（hidden units）/更多引數（parameters）的，規模更大的神經網路

5、嘗試加入正則化（例如 L2 正則化）

6、改變神經網路的架構（啟用函式，隱藏元數量等等）

…

選擇以上合理的決策方案很重要.

4、機器學習現在發展迅速的原因

-有兩個主要因素推動著近期的發展：
1、資料可用性（data availability）：採集資料的裝置越來越多，資料量越來越大
2、計算規模（computational scale）：在近些年前，我們才開始能夠使用現有的海量資料集來訓練規模足夠大的神經網路。

-舊的學習演算法似乎並不知道要如何來處理如今這個規模量級的資料。

-在小資料集條件下，傳統演算法是否會表現得更好，取決於人們如何進行特徵工程。

-神經網路提高效能方式：
(i) 訓練大型的神經網路
(ii) 擁有海量的資料

5、併發集和測試集

-資料集一般包含正樣本和負樣本

-機器學習中的普遍做法是使用 70% / 30% 的比例來隨機劃分出訓練集和測試集

-圖片質量會比較影響訓練和識別結果。

-訓練集（training set）用於執行你的學習演算法。

-開發集（development set）用於調整引數，選擇特徵，以及對學習演算法作出其它決定。有時也稱為留出交叉驗證集（hold-out cross validation set）。

-測試集（test set）用於評估演算法的效能，但不會據此決定使用什麼學習演算法或引數。

-開發集和測試集的使命就是引導你的團隊對機器學習系統做出最重要的改變。（合理地設定開發集和測試集，使之近似模擬可能的實際資料情況，並處理得到一個好的結果。）

6、開發集和測試集應該服從同一分佈

7、開發集和測試集應有多大

-當資料量特別特別大的時候，開發集和測試集的規模並不是越大越好。

8、使用單值評估指標進行優化

-查準率（Precision，又譯作精度）：預測結果為某類的樣本中，實際為該類的比例。

-查全率（Recall，又譯作召回率）：某類的樣本中，被正確識別為該類的比例。
-F1 Score為上述的平均值，使用加權平均求出單值指標更方便

9、優化指標和滿意度指標

-準確率（accuracy）、執行時間（running time）、假正例率（false positive rate）和假反例率（false negative rate）等

10、通過開發集和度量指標加速迭代

-在建立一個機器學習系統時，我往往會這樣：
1、嘗試一些關於系統構建的想法（idea）。
2、使用程式碼（code）實現想法。
3、根據實驗（experiment）結果判斷想法是否行得通。（第一個想到的點子一般都行不通！）在此基礎上學習總結，從而產生新的想法，並保持這一迭代過程。

-擁有開發集和度量指標，可以使你更快地檢測出哪些想法給系統帶來了小（或大）的提升 ，從而快速確定要繼續研究或者是要放棄的方向。

11、12、何時修改開發集、測試集和度量指標

-開發集和測試集必須分佈相同，否則有可能過擬合

-對假正例進行嚴重懲罰

-要對系統週期性得進行評估

-(i) 如果你在開發集上過擬合，則獲取更多的開發集資料。
-(ii) 如果開發集和測試集的資料分佈和實際關注的資料分佈不同，則獲取新的開發集和測試集。
-(iii) 如果評估指標不能夠對最重要的任務目標進行度量，則需要修改評估指標。

13、快速構建並迭代你的第一個系統

-先快速構建一個最基礎的系統，後面慢慢改，一般第一個都是有問題

14、15、誤差分析：根據開發集樣本評估多個想法

-誤差分析（Error Analysis） 指的是檢查演算法誤分類的開發集樣本的過程，以便你找到造成這些誤差的原因。

-對出錯的開發集樣本進行一定量的收集分析

-出錯的這些樣本中，觀察其中某一類的比例（如果識別貓的系統，將狗誤認為貓，而狗在這些誤分類的樣本中的比例），如果比例較小（eg.5%）有可能就為該專案的上限，不用在意，因為即使針對狗進行特定的改進，可能也只是會對總識別率提升一點點；如果比例較大，進行改進後就可以顯著增加識別率

-誤差分析並不會產生一個明確的數學公式來告訴你什麼任務的優先順序最高。你還需要考慮在不同類別上的預期進展以及解決每個類別所需的工作量。

-作者十分強調優先順序問題，看來是看過太多的人做無用功了，他在視訊中就經常提到：去一家公司參觀，團隊花6個月來排查解決的一個問題，他一眼就看出是哪個引數的問題。