1、反向傳播思想：

計算出輸出與標籤間的損失函式值，然後計算其相對於每個神經元的梯度，根據梯度方向更新權值。

（1）將訓練集資料輸入到ANN的輸入層，經過隱藏層，最後達到輸出層並輸出結果，這是ANN的前向傳播過程；

（2）由於ANN的輸出結果與實際結果有誤差，則計算估計值與實際值之間的誤差，並將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；

（3）在反向傳播的過程中，根據誤差調整各種引數的值；不斷迭代上述過程，直至收斂。

2、無監督逐層訓練：預訓練：每次訓練一層隱結點。訓練時將上一層隱結點的輸出作為輸入，而本層隱結點的輸出作為 下一層隱結點的輸入。在預訓練結束後，再對整個網路進行微調訓練。

3、DNN

一、DBN：（預訓練+微調）

思想：整個網路看成是多個RBM的堆疊，在使用無監督逐層訓練時，首先訓練第一層，然後將第一層預訓練好的隱結點視為第二層的輸入節點，對第二層進行預訓練，各層預訓練完成後，再用BP演算法對整個網路進行訓練。

整體解釋：預訓練+微調 的做法可視為將大量引數分組，對每組先找到區域性看起來比較好的位置，然後再基於這些區域性較優的結果聯合起來進行全域性尋優。好處：利用了模型大量引數所提供的自由度，有效的節省了訓練開銷。

（補充：是一個概率生成模型，與傳統的判別神經網路不同的是，生成模型建立了觀察資料和標籤之間的聯合分佈，而判別模型只評估了條件概率。

DBN遇到的問題：需要為訓練提供一個有標籤的樣本集；學習過程較慢；不適當的引數選擇導致學習收斂於區域性最優解。）

二、CNN：（區域性感知+權共享機制：讓一組神經元使用相同的連線權）

提出：全連線的結構下會引起引數數量的膨脹，容易過擬合且區域性最優。影象中有固有的區域性模式可以利用，所以，提出了CNN，並不是所有上下層神經元都能直接相連，而是通過“卷積核”作為中介。同一個卷積核在所有影象內都是共享的，影象通過卷積操作後仍然保留原來的位置關係。

複合多個“卷積層”和“取樣層”對輸入訊號進行加工，然後再連線層實現與輸出目標之間的對映。多層的目的：一層卷積學到的特徵往往是區域性的，層數越高，學到的特徵就越全域性化。

CNN兩大神器：

1、區域性感知：一般認為影象的空間聯絡是區域性的畫素聯絡比較密切，而距離較遠的畫素相關性較弱，因此，每個神經元沒必要對全域性影象進行感知，只要對區域性進行感知，然後在更高層將區域性的資訊綜合起來得到全域性資訊。利用卷積層實現：（特徵對映，每個特徵對映是一個神經元陣列）：從上一層通過區域性卷積濾波器提取區域性特徵。卷積層緊跟著一個用來求區域性平均與二次提取的計算層，這種二次特徵提取結構減少了特徵解析度。

2、引數共享：在區域性連線中，每個神經元的引數都是一樣的，即：同一個卷積核在影象中都是共享的。（理解：卷積操作實際是在提取一個個區域性資訊，而區域性資訊的一些統計特性和其他部分是一樣的，也就意味著這部分學到的特徵也可以用到另一部分上。所以對影象上的所有位置，都能使用同樣的學習特徵。）卷積核共享有個問題：提取特徵不充分，可以通過增加多個卷積核來彌補，可以學習多種特徵。

3、取樣(池化)層：在通過卷積得到特徵後，希望利用這些特徵進行分類。基於區域性相關性原理進行亞取樣，在減少資料量的同時保留有用資訊。（壓縮資料和引數的量，減少過擬合）（max-polling 和average-polling）

可用BP演算法訓練，訓練中，無論是卷積層還是取樣層，每一組神經元都是用相同的連線權。

優點：限制了引數的個數並挖掘了局部結構的這個特點，減少了複雜度。

（CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由於CNN的特徵檢測層通過訓練資料進行學習，所以在使用CNN時，避免了顯示的特徵抽取，而隱式地從訓練資料中進行學習；再者由於同一特徵對映面上的神經元權值相同，所以網路可以並行學習，這也是卷積網路相對於神經元彼此相連網路的一大優勢。卷積神經網路以其區域性權值共享的特殊結構在語音識別和影象處理方面有著獨特的優越性，其佈局更接近於實際的生物神經網路，權值共享降低了網路的複雜性，特別是多維輸入向量的影象可以直接輸入網路這一特點避免了特徵提取和分類過程中資料重建的複雜度）

三、DBN與CNN兩者異同：

異：DBN：全連線，有pre-train過程；CNN：區域性連線，沒有預訓練過程，但加了卷積。

同：無論是DBN還是CNN，這種多隱層堆疊，每層對上一層的輸出進行處理的機制，可看作是在對輸入訊號進行逐層加工，從而把初始的、與輸出目標之間聯絡不大的輸入表示，轉化成與輸出目標聯絡密切的表示。即：通過多層處理，逐漸將初始的低層特徵表示轉化成高層的特徵表示後，用“簡單模型”就可以完成複雜的分類等學習任務。

四、RNN：

提出：DNN存在一個缺陷：無法對時間序列上的變化進行建模，然而，樣本出現的時間順序對於自然語言處理、語音識別等應用很重要；RNN解決了樣本的處理在各個時刻獨立的問題，可以對時間序列上的變化進行建模，深度是時間上的長度。神經元的輸出可以在下一個時間戳直接作用到自身。即，某一層某一時刻神經元的輸入，除了上一層神經元在該時刻的輸出外，還有本身在上一時刻的輸出。

缺點：時間軸上的“梯度消失”，為解決這個問題——>長短時記憶單元LSTM：通過門的開關實現時間上記憶功能，防止梯度消失。

五、LSTM：

核心：模仿一種細胞狀態，類似傳送帶思想，直接在整個鏈上執行，只有一些少量的線性互動，資訊在上面保持不變。利用一種“門”的結構來去除或增加資訊到細胞狀態的能力，有三個門。門：讓資訊選擇通過的方法，包括sigmoid神經網路層和一個點乘操作。

第一步：忘記門層：決定從細胞狀態中丟棄什麼資訊。讀取本層的輸入和上一層的輸出，輸出一個0到1之間的數值給每個細胞狀態。

第二步：確定什麼樣的資訊被存放在細胞狀態中，包含兩個部分：1）sigmoid“輸入門層”，決定什麼值將要更新。2）tanh層，建立一個新的候選值向量。會被加到狀態中。

第三步：更新細胞狀態。基於細胞狀態確定輸出什麼值

面試篇：

深度學習整體解釋：

1）自下而上的非監督學習

2）自頂向下的監督學習

理解它們各自的引數代表什麼，比較好的初始引數，BP的計算，以及常見超引數的調整策略。

如何優化模型 : 加速收斂， 避免overfit, 提升精度 ..

– batch size effect；- learning rate effect；- weight initialization effect；- batch normalization

– drop-out；- model average；- fine-tuning；- data augmentation

CNN最成功的應用是在CV，那為什麼NLP和Speech的很多問題也可以用CNN解出來？為什麼AlphaGo裡也用了CNN？這幾個不相關的問題的相似性在哪裡？CNN通過什麼手段抓住了這個共性？

幾個不相關的問題的相關性在於，都存在區域性與整體的關係，由低層次的特徵經過組合，組成高層次的特徵，並且得到不同特徵之間的空間相關性。

CNN通過：區域性感知、權值共享、池化操作、多層次結構抓住了這個共性。區域性感知使網路可以提取資料的區域性特徵；權值共享大大降低了網路的訓練難度；池化操作和多層次結構一起，實現了資料的降維，將低層次的特徵組合成高層次的特徵。

什麼時候用local-conv？什麼時候用全卷積（每一個點用同一個filter）？

當資料集具有全域性的區域性特徵分佈時，也就是說區域性特徵之間有較強的相關性，適合用全卷積。在不同的區域有不同的特徵分佈時，適合用local-Conv。

什麼樣的資料不適合用深度學習？

1）資料集太小，因為神經網路有效的關鍵就是大量的資料，有大量的引數需要訓練，少量的資料不能充分訓練引數。2）資料集沒有區域性相關性。目前深度學習應用的領域主要是影象、語音、自然語言處理，這些領域的共性就是區域性相關性。例如：影象中的畫素組成物體，語音中的音位組成單詞，文字資料中的單片語成句子，而深度學習的本質就是學習區域性低層次的特徵，然後組合低層次的特徵成高層次的特徵，得到不同特徵之間的空間相關性。

何為共線性, 跟過擬合有啥關聯?

共線性：多變數線性迴歸中，變數之間由於存在高度相關關係而使迴歸估計不準確。

共線性會造成冗餘，導致過擬合。

解決方法：排除變數的相關性／加入權重正則。

為什麼引入非線性激勵函式？

因為如果不用非線性激勵函式，每一層都是上一層的線性函式，無論神經網路多少層，輸出都是輸入的線性組合，與只有一個隱藏層效果一樣。相當於多層感知機了。所以引入非線性激勵函式，深層網路就變得有意義了，可以逼近任意函式。

什麼造成梯度消失？推導？

許多啟用函式將輸出值擠壓在很小的區間內，在啟用函式兩端較大範圍的定義域內梯度為0，導致權重更新的緩慢訓練難度增加，造成學習停止。（前面層上的梯度是來自後面的層上項的乘積，當層數過多時，隨著乘積的累積，將越來越小。）

CNN常見的問題

1、梯度消失問題：過多的層數會導致梯度消失，解決手段：減少層數；增大學習率；用Relu代替sigmoid。

2、權重衰減：CNN的權重共享相當於自帶某種正則項，所以代價函式裡可不加正則

3、隨機梯度下降的引數選擇：

參考：

http://blog.csdn.net/fuwenyan/article/details/53914371

1）batch的選擇決定了下降的方向：

如果資料集比較小，可以採用全資料集的形式，好處：全資料集確定的方向能夠更好的代表樣本總體；不同權重的梯度值差別巨大，因此選一個全域性的學習率很困難，使用全資料集可以只基於梯度符號並且針對性單獨更新各權值。

如果資料集比較大，全資料集不可行，記憶體限制；由於各個batch取樣的差異性，各次梯度修正值相互抵消，無法修正。另一個極端每次只訓練一個樣本，batch=1，每次修正方向以各自樣本的梯度方向修正，難以達到收斂。

選擇適中的batch？ 批梯度下降法，

常用的激勵函式：

http://blog.csdn.net/u013146742/article/details/51986575

1）sigmoid：將輸出實值壓縮到0-1之間。 缺點：（輸入非常大或非常小的時候）容易梯度消失；sigmoid函式是非0均值的，下一層的神經元將從上一層神經元得到的非0 均值的訊號作為輸入，再結合w計算梯度，始終都是正的。（可根據batch調節）

2）Tanh：是0均值的。

3）Relu（修正線性單元）：好處：收斂快，求梯度簡單。具有稀疏特性。

（相比於sigmoid：sigmoid反向傳播求誤差梯度時，求導計算量很大，而relu求導簡單；對於深層網路，sigmoid反向傳播時，在sigmoid接近飽和區時，變換太緩慢，導數趨0，從而無法完成深層網路的訓練；Relu會使一部分神經元的輸出為0，造成了網路的稀疏性，並且減少了引數的相互依存關係，緩解了過擬合問題。）

缺點：訓練的時候很脆弱，一個非常大的梯度流過一個Relu神經元后，不會對其他資料有啟用現象了，設定較小的學習率，這種情況會不那麼頻繁。

卷積計算層：

引數共享機制、一組固定的權重和不同視窗內資料做內積：卷積

CNN優缺點：

優點：共享卷積核、減少了網路自由引數的個數，對高維資料處理無壓力；無需手動選取特徵，訓練好權重，即得特徵。降低神經網路的複雜性。這種網路結構在有監督的方式下學習到了一些良好的效能：對平移、比例縮放、傾斜或其他形式的變形具有高度不變性。

缺點：需要調參，需要大量樣本；

神經網路優勢:

可以利用神經網路中某一層的輸出當做是資料的另一種表達，從而可以將其認為是經過神經網路學習到的特徵，基於這一特徵，可以進行進一步的相似度比較等操作。

有效的關鍵是大規模的資料，每個DL都有眾多的引數，少量資料無法將引數訓練充分。

發展缺陷：

隨著網路層數的加深，優化函式越來越容易陷入區域性最優解，並且這個“陷阱”越來越偏離真正的全域性最優，利用有限資料訓練的深層網路，效能還不如淺層網路。

隨著網路層數增加，梯度消失現象越來越嚴重，（一般指sigmoid函式，反向傳播時，每傳遞一層，梯度衰減為原來的1/4。層數一多，梯度指數衰減後，底層基本接收不到有效的訓練訊號。）（來自：公眾號： datadw）

人工智慧賽博物理作業系統

AI-CPS OS

“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧）分支用來的今天，企業領導者必須瞭解如何將“技術”全面滲入整個公司、產品等“商業”場景中，利用AI-CPS OS形成數字化+智慧化力量，實現行業的重新佈局、企業的重新構建和自我的煥然新生。

AI-CPS OS的真正價值並不來自構成技術或功能，而是要以一種傳遞獨特競爭優勢的方式將自動化+資訊化、智造+產品+服務和資料+分析一體化，這種整合方式能夠釋放新的業務和運營模式。如果不能實現跨功能的更大規模融合，沒有顛覆現狀的意願，這些將不可能實現。

領導者無法依靠某種單一戰略方法來應對多維度的數字化變革。面對新一代技術+商業作業系統AI-CPS OS顛覆性的數字化+智慧化力量，領導者必須在行業、企業與個人這三個層面都保持領先地位：

1. 重新行業佈局：你的世界觀要怎樣改變才算足夠？你必須對行業典範進行怎樣的反思？

2. 重新構建企業：你的企業需要做出什麼樣的變化？你準備如何重新定義你的公司？

3. 重新打造自己：你需要成為怎樣的人？要重塑自己並在數字化+智慧化時代保有領先地位，你必須如何去做？

AI-CPS OS是數字化智慧化創新平臺，設計思路是將大資料、物聯網、區塊鏈和人工智慧等無縫整合在雲端，可以幫助企業將創新成果融入自身業務體系，實現各個前沿技術在雲端的優勢協同。AI-CPS OS形成的數字化+智慧化力量與行業、企業及個人三個層面的交叉，形成了領導力模式，使數字化融入到領導者所在企業與領導方式的核心位置：

1. 精細：這種力量能夠使人在更加真實、細緻的層面觀察與感知現實世界和數字化世界正在發生的一切，進而理解和更加精細地進行產品個性化控制、微觀業務場景事件和結果控制。

2. 智慧：模型隨著時間（資料）的變化而變化，整個系統就具備了智慧（自學習）的能力。

3. 高效：企業需要建立實時或者準實時的資料採集傳輸、模型預測和響應決策能力，這樣智慧就從批量性、階段性的行為變成一個可以實時觸達的行為。

4. 不確定性：數字化變更顛覆和改變了領導者曾經仰仗的思維方式、結構和實踐經驗，其結果就是形成了複合不確定性這種顛覆性力量。主要的不確定性蘊含於三個領域：技術、文化、制度。

5. 邊界模糊：數字世界與現實世界的不斷融合成CPS不僅讓人們所知行業的核心產品、經濟學定理和可能性都產生了變化，還模糊了不同行業間的界限。這種效應正在向生態系統、企業、客戶、產品快速蔓延。

AI-CPS OS形成的數字化+智慧化力量通過三個方式激發經濟增長：

1. 創造虛擬勞動力，承擔需要適應性和敏捷性的複雜任務，即“智慧自動化”，以區別於傳統的自動化解決方案；

2. 對現有勞動力和實物資產進行有利的補充和提升，提高資本效率；

3. 人工智慧的普及，將推動多行業的相關創新，開闢嶄新的經濟增長空間。

給決策制定者和商業領袖的建議：

1. 超越自動化，開啟新創新模式：利用具有自主學習和自我控制能力的動態機器智慧，為企業創造新商機；

2. 迎接新一代資訊科技，迎接人工智慧：無縫整合人類智慧與機器智慧，重新

   評估未來的知識和技能型別；

3. 制定道德規範：切實為人工智慧生態系統制定道德準則，並在智慧機器的開

   發過程中確定更加明晰的標準和最佳實踐；

4. 重視再分配效應：對人工智慧可能帶來的衝擊做好準備，制定戰略幫助面臨

   較高失業風險的人群；

5. 開發數字化+智慧化企業所需新能力：員工團隊需要積極掌握判斷、溝通及想象力和創造力等人類所特有的重要能力。對於中國企業來說，創造兼具包容性和多樣性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。”  《論語·子路》雲端計算、大資料、物聯網、區塊鏈和 人工智慧，像君子一般融合，一起體現科技就是生產力。

如果說上一次哥倫布地理大發現，拓展的是人類的物理空間。那麼這一次地理大發現，拓展的就是人們的數字空間。在數學空間，建立新的商業文明，從而發現新的創富模式，為人類社會帶來新的財富空間。雲端計算，大資料、物聯網和區塊鏈，是進入這個數字空間的船，而人工智慧就是那船上的帆，哥倫布之帆！

新一代技術+商業的人工智慧賽博物理作業系統AI-CPS OS作為新一輪產業變革的核心驅動力，將進一步釋放歷次科技革命和產業變革積蓄的巨大能量，並創造新的強大引擎。重構生產、分配、交換、消費等經濟活動各環節，形成從巨集觀到微觀各領域的智慧化新需求，催生新技術、新產品、新產業、新業態、新模式。引發經濟結構重大變革，深刻改變人類生產生活方式和思維模式，實現社會生產力的整體躍升。

產業智慧官  AI-CPS

用“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧），在場景中構建狀態感知-實時分析-自主決策-精準執行-學習提升的認知計算和機器智慧；實現產業轉型升級、DT驅動業務、價值創新創造的產業互聯生態鏈。

長按上方二維碼關注微信公眾號： AI-CPS，更多資訊回覆：

新技術：“雲端計算”、“大資料”、“物聯網”、“區塊鏈”、“人工智慧”；新產業：“智慧製造”、“智慧農業”、“智慧金融”、“智慧零售”、“智慧城市”、“智慧駕駛”；新模式：“財富空間”、“資料科學家”、“賽博物理”、“供應鏈金融”。

官方網站：AI-CPS.NET

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：[email protected]