基礎誤差分析

如果在一開始就試圖設計和構建出完美的系統會顯得有些困難，不妨先花幾天時間構建並訓練 一個最基礎的系統。或許這個最基礎的系統與我們所能構建的 “最佳” 系統相去甚遠，但研究其中的基礎功能也是很有價值的：你能快速找到一些線索來幫助你決定在什麼方向上投入時間。

小結：

• 當你開始一個新專案，尤其是在一個你不擅長的領域開展專案時，很難正確預判出最有前 景的方向。

• 要在一開始就試圖設計和構建一個完美的系統。相反，應儘可能快（例如在短短 幾天內）地構建和訓練一個系統雛形。然後使用誤差分析法去幫助你識別出最有前景的方 向，並據此不斷迭代改進你的演算法。

• 通過手動檢查約 100 個被演算法錯誤分類的開發集樣本來執行誤差分析，並計算主要的錯誤 類別。使用這些資訊來確定優先修正哪種型別的錯誤。

• 考慮將開發集分為人為檢查的 Eyeball 開發集和非人為檢查的 Blackbox 開發集。如果在 Eyeball 開發集上的效能比在 Blackbox 開發集上好很多，說明你已過擬合 Eyeball 開發集 ，下一步應該考慮為其獲取更多資料。

• Eyeball 開發集應該足夠大，以便於演算法有足夠多的錯誤分類樣本供你分析。對大多數應 用來說，含有1000-10000個樣本的 Blackbox 開發集已足夠。

• 如果你的開發集不夠大，無法按照這種方式進行拆分，那麼就使用 Eyeball 開發集來執行 人工誤差分析、模型選擇和調超參。