1.關於訓練神經網路
1.1訓練神經網路是深度學習中最難的部分
先建立數學模型。需要一個超級大資料集，例如大量機場和出發日期的組合
；需要量的計算能力。
1.2訓練過程
·遍歷整個資料集
·建立一個代價函式（Cost function）
·展示模型輸出與實際之間的誤差
·迭代修改模型引數使代價函式的結果為零
·輸出與真實資料集輸出相同
注：如何降低代價函式（Cost Function）
隨機改變神經元之間的權重並不是很有效；運用Gradient Descent技術幫助找到代價函式最小值。原理是在每次資料集迭代後以最小增量的方式改變權重。通過計算代價函式在某一組權重下的導數或梯度，能夠看出最小值得方向。這需要多次遍歷資料集。
2.深度學習小結
（1）深度學習使用神經網路來模仿人類的智力；
（2）神經網路中有三種類型的神經元層：輸入層、隱藏層和輸出層；
（3）神經元之間的連線與權重有關，決定了輸入值得重要性；
（4）神經元對資料使用啟用函式來“標準化”來自神經元的輸出；
（5）要訓練神經網路，需要一個大型資料集；
（6）迭代資料集並比較輸出將產生代價函式，表示AI實際輸出與資料集輸出的差異大小。
3.深度學習演算法概覽
3.1監督學習
（1）使用具有輸入和預期輸出的標記資料集（labelled data set）來執行機器學習任務
（2）整個過程在資料集上迭代完成，直到結果與預期一致為止
（3）例子：迴歸、決策樹、隨機森林、K-近鄰演算法、邏輯迴歸等
（4）應用：天氣預報
·輸入：壓力、溫度、風速等歷史資料
·預期輸出：未來的溫度等
註記：監督學習包括卷積神經網路（Convolution neural network,CNN）和遞迴神經網路（Recurrent Neural Networks，RNN）。卷積神經網路常用來：
·處理多維陣列資料，比如影象資料；
·文件閱讀、文字識別系統以及手寫體識別系統；
·人臉識別和自動駕駛汽車中的實時視覺系統。
而遞迴神經網路自然語言處理領域應用較多。
3.2無監督學習
（1）使用沒指定結構的資料集來執行機器學習任務
（2）學習過程對資料進行邏輯分類
（3）例子：關聯演算法和K-均值演算法
（4）應用：電商網站用來分析使用者的網站行為
·輸入：使用者的網站資料
·輸出：哪種使用者最有可能購買不同的產品
3.3強化學習
（1）監督學習和無監督學習的結合，這個演算法通過反覆是試錯來訓練機器進行決策
（2）例子：馬爾科夫決策過程
（3）應用：機器人導航、邏輯遊戲如撲克等
4.深度學習的缺陷
（1）需要大量資料，例如總需要數百萬的樣本（data hungry）
（2）需要大量計算資源來訓練以及部署深度學習系統
（3）模型表徵不確定性的能力極差
（4）易受對抗樣本的影響
（5）過於繁瑣的優化
（6）深度學習是難以解釋的黑箱，缺乏透明度
5.深度學習的進展
5.1遷移學習
（1）批量生產“小而美”的AI公司
（2）讓機器學會舉一反三
（3）實現不同場景AI模型再利用
5.2“不完美資訊”博弈
（1）2017年1月30日，機器人Libratus（冷撲）戰勝四個全球頂級德州撲克玩家
（2） 通過納什均衡來計算該如何應對對手那些沒出現在決策樹上的招數，並以收益反饋對自身的出招進行動態修正，以期達到最大的收益
5.3膠囊網路（Capsule network）——讓人工神經網路像人腦那樣思考
（1）將神經元分組成一個一個小膠囊，每一個決策點並不需要每個人工神經元都做出判斷，而是隻要檢查這個膠囊是否同意，然後將結果輸入下一層合適的膠囊中。
（2）會大大減少訓練計算機所需要的數量
（3）已經成功地被用於檢測癌症
6.深度學習的未來展望
（1）無監督學習在長期內越來越重要。通過觀察能夠發現世界的內在結構，而不是 被告知每一個客觀事物的名稱。
（2）機器視覺方面會有更多的進步。結合ConvNets和RNNs，採用強化學習來決定走向，以及學習操作視訊遊戲。
（3）自然語言處理將是深度學習做出巨大影響的另一個領域。RNNs的系統將會更好地理解句子或者整個文件。
（4）讓機器更像人類思考的演算法和讓機器學習更快速更可靠。使機器實現自動推理、預測更遠更精準和能夠理解人；能夠觀看和收聽影像；讓機器具有人的能力，在人不想做的領域都能夠超過人。
7.深度學習技術的應用實施
7.1可用的大資料——深度學習的“高效燃料”
7.2能用演算法（數學模型）
·支撐演算法的關鍵技術是學習演算法框架，它由上直接與中間層及運用層對接互動，往下直接與計算裝置互動
7.3夠用的運算能力
·計算機處理器的飛速發展，特別是影象處理器（GPU）超強的浮點運算功能
·雲端計算的發展使機器學習運算能大規模地在公有云端
7.4小企業無力彎道超車人工智慧領域
·資料缺失，大資料成本居高不下
·算力有限

以上內容根據美國Akiri Inc 首席架構師湯澄博士2018年9月11日在雲南大學軟體學院所做的報告整理而成。