使用生成對抗網路的二面角預測

Abstract  

      為蛋白質結構預測及其他應用開發了幾種二面角預測方法。 然而，預測角度的分佈與實際角度的分佈不同。 為了解決這個問題，我們採用了生成對抗網路（GAN），它在影象生成任務中顯示了有希望的結果。 生成性對抗網路由兩個受過對抗訓練的網路組成：鑑別器和發生器。 訓練鑑別器以區分來自資料集的樣本和生成的樣本，同時訓練生成器以生成實際樣本。

      儘管GAN的鑑別器經過訓練以估計密度，但模型的顯式密度不易處理。 另一方面，引入噪聲對比估計（NCE）來估計非標準化統計模型的歸一化常數，從而估計密度函式。

      在本文中，我們引入噪聲對比估計生成對抗網路（NCE-GAN），通過從已知分佈（如噪聲對比估計）中提供噪聲樣本，併為其新增相應的類，可以對生成對抗網路進行顯式密度估計。鑑別。 我們分析了小批量識別和發電機的新損失。 我們還提出了輔助分類器GAN（AC-GAN）和半監督GAN的殘差方式變體來處理視窗中的序列資訊。

      在我們的實驗中，比較了條件生成對抗網路（C-GAN），AC-GAN和半監督GAN。 並且投入了改善條件的實驗。

       我們發現了AC-GAN現象，其預測角度的分佈由不尋常的簇組成。 半監督GAN的預測角度的分佈與Ramachandran圖最相似。 我們發現，新增NCE的輸出作為鑑別器的附加輸入有助於穩定GAN的訓練並捕獲詳細的結構。 但是，在發電機中使用新提出的損耗僅對C-GAN和AC-GAN有幫助。 將回歸損失新增到生成器的物件並且通過迴歸損耗僅使用預測角度作為生成器的附加輸入可以改善C-GAN和AC-GAN的條件生成效能。

I.3.2二面角預測方法

       由於相鄰Cα原子之間的鍵距幾乎固定且w角幾乎固定，因此扭轉角φ可代表蛋白質的骨架結構[24,5]。 

       Real-SPINE是第一種專用於二面角預測的方法[5,25]。 通過PSI-BLAST [26]計算的位置特異性評分矩陣（PSSM），一個引數描述了鏈末端附近氨基酸的不存在，七個代表性氨基酸特性（PP）[27]和SPINE預測的二級結構 [28]被用作輸入[25]。 為了最小化角度週期性的影響，它們的改進工作在φ，角度上應用了移位變換，使得移位角度的概率在邊界角附近接近零[29]。

        先前解釋的角度預測方法使用滑動視窗進行預測。 最近，SPI DER3利用具有長短期記憶（LSTM）細胞的雙向遞迴神經網路（BRNN）來捕獲非區域性相互作用[33]。 迭代學習也被用作以前的工作[32]。 模型的輸入由七個理化性質（PP）[27]，來自PSI-BLAST的PSSM [26]和來自HHBlits的30維隱馬爾可夫模型序列譜[34]組成。 他們的模型預測了SS，ASA，骨幹角（θ，τ，φ，），半球暴露（HSE）[35]和接觸數（CN）

II.3神經網路的體系結構

       我們對迴歸模型和生成器使用了相同的體系結構。常見的體系結構是一個多層感知器，由3個隱藏層和每層150個神經元組成，作為SPIDER的架構[31]。我們使用單熱編碼序列資訊作為輸入進行預測，並且在我們進行確定性角度預測時沒有在生成器中新增輸入噪聲，但是在一些實驗中添加了預測角度。除了輸出啟用功能之外，使用a = 5 [16]的漏洩整流器線性單元（LReLu）作為啟用功能。預測φ，角度的範圍是（-π;π）。將softsign啟用函式應用於輸出層後，將π乘以擬合範圍。除了在一些實驗中新增通過迴歸模型預測的角度之外，沒有對發生器的輸入和輸出使用歸一化。當預測角度被饋送到發電機中時應用縮放。而且只有φ;對於視窗大小17，預測視窗中心殘留物中的角度。使用移位角方法[29]來處理角度的週期性。通過計算訓練資料的適當偏移，φ移動π（90°）並在-1：40（-80：2°）附近移動。

      與迴歸模型和生成器一樣，在每個層的3個隱藏層和150個神經元組成的多層感知器被用於鑑別器，其中也包括NCE模型。這意味著輔助分類器和鑑別器的權重被共享用於AC-GAN，並且還共享了分類器和半監督GAN的鑑別器的權重。將移位的實際φ，角度和噪聲樣本饋入噪聲對比估計（NCE）模型。序列資訊和縮放角度資訊被連線，並且該組合資訊被饋送到C-GAN的鑑別器中。除了一些實驗外，只有角度資訊被饋入AC-GAN和半監督GAN的鑑別器。將在第II.5節中描述的NCE-GAN結構用於GAN的鑑別器中以進行評估。注意，在一些實驗中，NCE模型的輸出也被饋送到GAN鑑別器中。 NCE模型預測它是從實際角度還是從噪聲樣本獲得輸入，並且還輸出預測序列資訊，如殘留半監督GAN，將在第II.7節中介紹。