前饋神經網路（Feedforward Neural Networks, FNNs）在眾多學習問題，例如特徵選擇、函式逼近、以及多標籤學習中有著不錯的應用。
針對訓練前饋網路的學習演算法，目前已經有不少研究者提出了新穎的研究結果，但是其它相關問題的研究卻不多，例如連線權值初始化、知識提取、幾何解釋、網路稀疏化等。權值初始化過程通常會對網路的效能有很大影響，目前廣泛採用的方式是隨機生成一些較小的權值係數，然後在訓練過程中不斷對其進行修改，因此可能會遇到一些問題，例如區域性最優、訓練速度慢、或者網路效能不足。目前還並沒有一套工具，可以對給定的訓練樣本和網路結構生成一個相對較好的初始網路權值。
這篇論文對目前的前饋網路的權值初始化方法做了一個深度介紹：
（1）Statistically Controlled Activation Weight Initialization [2].
該方法適用於淺層FNNs，它定義了兩種神經元的活動狀態：飽和狀態和癱瘓狀態，當神經元輸出大於一定值即處於飽和狀態，小於一定值則處於癱瘓狀態。
初始化公式：

另外，

對不同層連線權值的初始化，依賴於上一層神經元的輸出。
（2）Weight Initialization for Parametric Estimtion [3].
該演算法主要適用於單隱層的前饋網路，依賴於輸入和輸出矩陣的奇異值分解（SVD）.
（3）Clustering-based Weight Initialization [4].
該演算法主要分為
a、生成分簇，如k-means、學習向量化（LVQ）分簇方法；
b、構建網路；
c、網路優化。
具體演算法的理論推導和分析見參考文獻。
Reference：
[1] Celso A. R. de Sousa. An overview on weight initialization methods for feedforward neural networks. International Joint Conference on Neural Network, 2016.
[2] G. P. Drago, S. Ridella. Statistically controlled activation weight initialization (SCAWI). IEEE Transactions on Neural Networks, vol. 3, 1992.
[3] P. Costa, P. Larzabal. Initialization of supervised training for parametric estimation. Neural Processing Letters, vol. 9, 1999.
[4] N. Weymaere, J. P. Martens. On the initialization and optimization of multilayer perceptrons. IEEE Transactions on Neural Networks, vol. 5, 1994.