DL的原理研究

  深度網路是手段，特徵學習是目的

  任何一種方法，特徵越多，給出的參考資訊就越多，準確性會得到提升。但特徵多意味著計算複雜，探索的空間大，可以用來訓練的資料在每個特徵上就會稀疏，都會帶來各種問題，並不一定特徵越多越好。

基本思想

  形象地表示為： I =>S1=>S2=>……=>Sn => O，如果輸出O等於輸入I，即輸入I經過這個系統變化之後沒有任何的資訊損失，保持了不變，這意味著輸入I經過每一層Si都沒有任何的資訊損失，即在任何一層Si，它都是原有資訊（即輸入I）的另外一種表示。
  另外，前面是假設輸出嚴格地等於輸入，這個限制太嚴格，我們可以略微地放鬆這個限制，例如我們只要使得輸入與輸出的差別儘可能地小即可，這個放鬆會導致另外一類不同的Deep Learning方法。
  因此，“深度模型”是手段，“特徵學習”是目的。