1. 程式人生 > >深度學習前人的精度很高了如何創新?

深度學習前人的精度很高了如何創新?

前言:

目前主流方向的模型基本都做到了很高的精度,你能想到的方法,基本上前人都做過了,並且還做得很好,因此越往後論文越來越難發,創新點越來越難找。

那如何尋找自己的創新點呢?如何在前人的基礎上改進呢?在本文將提供幾種思路。

 

思路

常見的思路我臨時給它們取了幾個名字:無事生非,後浪推前浪,推陳出新。

 

1. 在原始的資料集上加一些噪聲,例如隨機遮擋,或者調整飽和度什麼的,主要是根據具體的任務來增加噪聲或擾動,不可亂來。如果它的精度下降的厲害,那你的思路就來了,如何在有遮擋或有噪聲或其他什麼情況下,保證模型的精度。(無事生非)

2. 用它的模型去嘗試一個新場景的資料集,因為它原來的模型很可能是過擬合的。如果在新場景下精度下降的厲害,思路又有了,如何提升模型的泛化能力,實現在新場景下的高精度。(無事生非)

3. 思考一下它存在的問題,例如模型太大,推理速度太慢,訓練時間太長,收斂速度慢等。一般來說這存在一個問題,其他問題也是連帶著的。如果存在以上的問題,你就可以思考如何去提高推理速度,或者在儘可能不降低精度的情況下,大幅度減少引數量或者計算量,或者加快收斂速度。(後浪推前浪)

4. 考慮一下模型是否太複雜,例如:人工設計的地方太多,後處理太多,需要調參的地方太多。基於這些情況,你可以考慮如何設計一個end-to-end模型,在設計過程中,肯定會出現訓練效果不好的情況,這時候需要自己去設計一些新的處理方法,這個方法就是你的創新。(後浪推前浪)

5. 替換一些新的結構,引入一些其它方向的技術,例如transformer,特徵金字塔技術等。這方面主要是要多關注一些相關技術,前沿技術,各個方向的內容建議多關注一些。(推陳出新)

 

對於加噪聲或者隨機遮擋的問題,可以參考下面這篇《資料增強方法總結》

對於輕量化,或者加快推理速度,或者減少引數量等方面的方法,可以參考下面兩篇文章

《CNN結構演變總結(二)輕量化模型》

《CNN結構演變總結(三)設計原則》

本文來源於公眾號CV技術指南的技術總結系列,更多相關技術總結請掃描文末二維碼關注公眾號。

公眾號其它技術總結內容

特徵金字塔技術總結

CV方向的高效閱讀英文文獻方法總結

資料增強方法總結

CNN結構演變總結(一)經典模型

CNN結構演變總結(二)輕量化模型

CNN結構演變總結(三)設計原則

CNN視覺化技術總結(一)-特徵圖視覺化

CNN視覺化技術總結(二)--卷積核可視化

CNN視覺化技術總結(三)--類視覺化

CNN視覺化技術總結(四)--視覺化工具與專案

池化技術總結

NMS總結

&n