本文為英國倫敦大學（作者：Aristoklis.D. Anastasiadis）的博士論文，共184頁。

在分類問題中訓練神經網路，特別是當涉及生物資料時，是一項非常具有挑戰性的任務。到目前為止，已經提出了許多訓練演算法來改善神經網路的效能。一種流行的方法是使用批量學習，對每個權值使用不同的自適應學習率。大多數現有的該類演算法都是基於啟發式的，並且它們不能保證從任何初始權值集收斂到區域性最小值。此外，它們經常會收斂到區域性極小值，特別是當開始訓練的初值遠離最小值時。為了改善這種情況，本博士學位論文提出了克服這些問題的新方法。

本文提出了一類基於複合非線性雅可比過程的自適應學習率符號化方案；提出了一種自適應策略，保證在搜尋方向為下降方向時批量誤差的降低。此外，它使新演算法具有全域性收斂性質，即從任意遠處的出發點收斂到區域性最小值。然後，在全域性搜尋方法的背景下，通過提出一種結合確定性搜尋、隨機搜尋以及自適應學習速率的混合學習方案，來處理偶爾收斂到區域性極小值的問題。在非擴充套件統計力學的背景下探索隨機搜尋方法，通過使用q-非廣延熵指數產生的擾動修正訓練過程中的誤差表面。所提出的演算法用於訓練生物和生物資訊學資料集中的前饋神經網路及多種神經網路集合。

Training neural networks in classiflcation problems, especially whenbiological data are involved, is a very challenging task. Many trainingalgorithms have been proposed so far to improve the performance of neuralnetworks. A popular approach is to use batch learning that employs a difierentadaptive learning rate for each weight. Most of the existing algorithms of thisclass are based on the use of heuristics, and they don’t guarantee convergenceto a local minimiser from any initial weights set. In addition, they convergefrequently to local minima, particularly when training starts far away from aminimiser. To alleviate this situation, this PhD thesis proposes new methodsthat overcome these problems. It proposes a new class of sign{based schemeswith adaptive learning rates that are based on the composite nonlinear Jacobiprocess. It develops an adaptation strategy that ensures the search directionis a descent one and the decrease of the batch error is guaranteed. Moreover, itequips the new algorithms with the global convergence property; i.e. it provesconvergence to a local minimiser from any remote starting point. The problem ofoccasional convergence to local minima is then dealt within the context ofglobal search methods by proposing a hybrid-learning scheme that combinesdeterministic and stochastic search, and adaptive learning rates. Stochasticsearch is explored in the context of Nonextensive Statistical Mechanics, bymodifying the error surface during training using perturbations generated bythe q-nonextensive entropic index. The proposed algorithmsare applied to train feed-forward neural networks and diverse neural ensemblesin biological and bioinformatics datasets.

1 引言
2 優化環境下的監督訓練
3 基於梯度下降的訓練方案
4 全域性收斂訓練演算法
5 非擴充套件混合學習方案
6 生物資訊學中神經網路集的訓練
7 結論與未來工作展望
附錄 問題描述/資料集/評估方法

下載英文原文地址：

http://page5.dfpan.com/fs/alcj9221d291f6645b2/

更多精彩文章請關注微訊號：