論文提出使用進化演算法來進行神經網路結構搜尋，整體搜尋邏輯十分簡單，結合權重繼承，搜尋速度很快，從實驗結果來看，搜尋的網路準確率挺不錯的。由於論文是個比較早期的想法，所以可以有很大的改進空間，後面的很大演算法也是基於這種想法進行更好的補充
 
來源：曉飛的演算法工程筆記 公眾號

論文: Large-Scale Evolution of Image Classifiers

• 論文地址：https://arxiv.org/abs/1703.01041

Introduction

---

  論文對當前的進化演算法進行少量地改造，結合前所未有的算力進行神經網路結構搜尋，在CIFAR-10上達到了很不錯的準確率。論文十分注重搜尋演算法的簡單性，從效能很差的無卷積模型開始，進化演算法需要在一個幾乎不受約束的搜尋空間中進化成複雜的卷積網路

Methods

---

Evolutionary Algorithm

  基於錦標賽選擇(tournament selection)進行進化演算法，定義如下概念：

• 種群(population)，模型集合
• 個體(individual)，訓練完的單個模型
• 適應值(fitness)，模型在測試集上的準確率
• 工作者(worker)，每次從種群中選取兩個個體進行適應值計算
• 消滅(killed)，將worker挑選的個體中，適應值低的去掉
• 繁殖(reproduction)，將worker挑選的個體中，適應值高的作為父代(parent)，拷貝並進行變異(mutation)得到子代(child)，將子代放回種群中(alive)

  為了加速計算，使用massively-parallel, lock-free的平行計算，許多worker在不同電腦上進行獨立的非同步操作，僅使用共享檔案系統來保證種群內容一致，每個個體為一個資料夾。種群數量為1000，worker一般為種群數量的$\frac{1}{4}$

Encoding and Mutations

  網路結構表示為圖(DNA)，節點表示3維tensor或啟用方法，tensor的3維分別表示圖片的空間座標以及channel數，啟用方法作用與節點上，可以為BN+RELU或無啟用，邊表示identity connections或卷積(包含可變異引數)。當節點連線多條邊時，將其中一條非identity connection的邊作為主邊，對其它邊進行畫素的最近鄰差值以及維度的裁剪和填充，最後進行element-wise sum。在每次繁衍過程中，隨機選取以下一種變異方式：

• 調整學習率
• 不變
• 重置權重，子代重新訓練
• 隨機位置插入卷積層
• 刪除卷積層
• 修改stride，2的倍數
• 修改channel數，修改範圍為原值的一半至兩倍
• 卷積核大小，奇數
• 新增skip connection
• 刪除skip connection

Initial Conditions

  種群的初始化為僅包含global average pool的簡單個體，學習率為0.1

Training and Validation

  在CIFAR-10上進行4萬5張圖的訓練和5千張圖的測試，共訓練25600輪，batch size為50

Computation cost

  每個進行訓練的模型，記錄其單batch訓練的計算量$F_t$FLOPs和驗證的計算量$F_v$FLOPs，乘以batch數得到最終的計算量為$F_tN_t+F_vN_v$，

Weight Inheritance

  由於模型完整的訓練需要更多的迭代次數，這十分耗費時間，為了解決這一問題，允許子代預設繼承父代的權重，如果層有相同的shape，則繼承，但如果是重置權重突變，則全部不繼承

Reporting Methodology

  為了防止過擬合，訓練集和測試集不能有交集，準確率表現最好的模型稱為“the best model”

Experiments and Results

---

  從實驗來看，論文提出的搜尋方法比目前的同體積的網路效能要高，但比SOTA略差一點，整體搜尋時間很快。對於兩個超引數，種群大小和迭代次數，則是越大越好，太小容易陷入區域性最優

CONCLUSION

---

  論文提出使用進化演算法來進行神經網路結構搜尋，整體搜尋邏輯十分簡單，結合權重繼承，搜尋速度很快，從實驗結果來看，搜尋的網路準確率挺不錯的。由於論文是個比較早期的想法，所以可以有很大的改進空間，後面的很大演算法也是基於這種想法進行更好的補充，所以這篇論文也是值得一讀的

 
 
 

如果本文對你有幫助，麻煩點個贊或在看唄～
更多內容請關注 微信公眾號【曉飛的演算法工程筆記】

相關推薦