AI熱潮的關鍵：深度學習不止深度神經網路
【編者按】 作為本輪AI的關鍵技術，深度學習不單只是深度神經網路模型本身。事實上，深度神經網路的發展痛點頻頻，包括穩定性和對裝置的依賴性，以及除錯複雜度困難等等。事實上，迴歸到 深度學習的本質問題， 前企學研界還有很多探索深度學習新的可能性。
本文原載於21世紀經濟報，經億歐網編輯，以供業內人士參考。
作為本輪人工智慧熱潮的關鍵技術，機器學習尤其是深度學習受到了熱捧。一時間，人人嘴上掛著深度學習、神經網路等詞彙，似乎不談這一話題，便與智慧時代脫節。
然而，無論開發者或科技企業，對深度學習恐怕存在一定誤解。“如果問一下‘什麼是深度學習’，絕大多數人的答案都會是：深度學習就是深度神經網路，甚至認為‘深度學習’就是‘深度神經網路’的同義詞。”在2018英特爾人工智慧大會上，南京大學計算機系主任、人工智慧學院院長周志華直言現狀。
這一觀念其實是片面的。事實上，當前深度學習主流的深度神經網路模型本身，也存在著諸多問題。 “吃資料，吃機器，對開發者門檻要求高。”當談及當前模型痛點時，一位深度學習領域相關開發者向記者直言。 另一位開發者則告訴記者，深度神經網路模型的效果穩定性也可能不如預期。
“Kaggle競賽中有各種各樣的任務，但在影象、視訊、語音之外的很多工上，比如訂機票、訂旅館之類，還是傳統機器學習技術(如隨機森林或XGBoost)表現更好，尤其是涉及符號建模、離散建模、混合建模等問題。”周志華表示，“機器學習界早就很清楚‘沒有免費的午餐’，也即任何一個模型可能只適用於一部分的任務，而另外一些任務是不適用的。”
這也就意味著，除深度神經網路模型之外，當前企學研界還有必要探索深度學習新的可能性。
痛點頻頻
深度學習是機器學習的一個技術分支。與機器學習其他技術流派所區別的是，當前以深度神經網路模型為代表的深度學習模型演算法中，擁有許多層次，從而構成“深度”。
與傳統機器學習方法相比，深度學習具有其優勢。“如果以橫軸為資料量，縱軸為模型有效性來看的話，傳統機器學習模型隨著資料量的增長而效果趨於平緩，深度神經網路模型則隨著資料增長形成更高的有效性。”英特爾高階首席工程師、大資料技術全球 CTO 戴金權告訴記者。
之所以模型層級或說“深度”能夠在近年來取得突破，源於神經網路中基本計算單元啟用函式的連續可微性，導致梯度更加易於計算，而基於對梯度的調整，便可使用 BP 演算法逐層訓練出整個模型。
“ 2006 年以前，人們不知道怎麼訓練出 5 層以上的神經網路，根本原因就是層數高了之後，使用 BP 演算法的梯度就會消失，無法繼續學習。”周志華介紹道，“後來 Geoffrey Hinton 做了很重要的工作，通過逐層訓練來緩解梯度消失，才使得深層模型能夠被訓練出來。”
然而，正是因為深度神經網路模型是一個層級多、引數多的巨大系統，因此便存在海量的調參需求與相當的調參計算。“甚至有些技術工程師一天下來，其他的什麼都沒做，只是在調整引數，這是一個很常見的情況。”前述開發者向記者感慨道。
不僅是超量引數帶來了調參難，隨之也形成一系列問題。“比如，在做跨任務 ( 例如從影象到語音 ) 的時候，相關的調參經驗基本沒有借鑑作用，經驗很難共享，”周志華表示。同時，結果的可重複性也非常難，“整個機器學習領域，深度學習的可重複性是最弱的。哪怕同樣的資料和演算法，只要引數設定不同，結果就不一樣。”
此外，深度神經網路模型複雜度必須是事前指定的，然後才能用BP演算法去加以訓練。但這個過程中存在悖論：在沒有解決任務之前，如何預先判定其複雜度？“所以實際上大家通常都是設定更大的複雜度。”周志華表示。
目前這一模型還存在許多別的問題，比如理論分析很困難，需要極大資料，黑箱模型等等。甚至有開發者向記者坦言，神經網路模型在有些領域應用很好，但在更多的領域，採用這一模型的效果不穩定，“如果樣本資料量足夠大，這一模型的準確率是很好的，但通常公司並沒有那麼多資料，計算也費勁。”
新的路徑？
既然深度神經網路模型存在痛點，那麼，在對其進行優化研究的同時，也不得不令人思考：是否存在其他深度學習模型的可能性？
這就涉及到深度學習的本質問題。事實上，深度神經網路的最重要的是特徵學習 ( 表示學習 ) ，即計算機能夠自行學習原始資料的特徵、提取特徵並表達出來，而這背後的核心是逐層處理。“與傳統機器學習技術相比，深度學習抽象級別不同，深度學習可能擁有很高級別的抽象。”前述開發者向記者解釋道，“計算出特徵之後還會繼續計算特徵的特徵，最終放到模型裡。 ”
另一個特質在於特徵的內部轉換。 “例如，決策樹也是一種逐層處理，但達不到深度神經網路的效果，就在於它的複雜度不夠，同時始終在同一個特徵空間下進行，中間沒有進行任何的特徵變化。”周志華指出。
此外還需要保證充分的模型複雜度 。 “只有增加模型複雜度，學習能力才可能得以提升。”周志華指出，“逐層加工、特徵內部變換、充分模型複雜度，滿足這三條的深度學習模型，便能夠取得成功。”
就此，周志華嘗試提出深度神經網路模型之外的方法：深度森林模型。據介紹，該模型是一個基於樹模型的方法，主要借用了整合學習中的想法。 “在許多不同任務上，它的模型所得結果可以說與深度神經網路高度接近。特別是在跨任務中，它的表現非常好，可以用同樣一套引數，不再逐任務調參。”周志華指出。
“深度神經網路的底層是以神經網路為基礎，進而擴充套件層級深度，深度森林也是類似的概念。”一位南京大學相關研究人士向記者表示，“在深度神經網路模型中，堆疊了大量神經元，而深度森林裡，每一層神經元的位置變為森林。資料樣本通過每個森林得到一個預測結果後，將結果作為下一層的輸入。”
這樣做的好處是，每經過一層“森林”，機器都會自動判斷模型是否收斂，一旦達到正確性要求，模型就不會繼續計算，“所以模型是可控的。”前述研究人士向記者強調，“深度神經網路則是必須把層級定好，然後利用演算法求梯度。深度森林不需要優先制定層級，走了一定層級之後看驗證效果，好的話就不用往後走了。”因此，它對計算資源的要求也不大，“在 CPU 上就可以跑。”
當然，作為一個最新提出的模型，深度森林還在接受各方的討論。“就演算法本身而言，雖然在訓練效率、可解釋性方面優於神經網路，但在超大資料下未必能達到或者超過深度學習中的CNN(卷積神經網路)。”一位業內人士向記者直言，“不過，這一理論的最大貢獻可能在於，提出了一種有別於深度神經網路的深度結構，從而打破了業界對神經網路的迷信，為研究者提供了一個新的思路。”
一直以來，技術都是推動商業環境進化的重要因素，而目前最熱的技術升級趨勢，無疑是人工智慧。當下，儘管人工智慧行業本身已經進入了一個平穩的發展期，但它對於各行各業的賦能卻正在以更熱烈的姿態進行。
2018年11月30日上午，億歐將在北京國貿大酒店舉辦“新技術·新動能創新者論壇”，以技術為核心要素，從行業角度出發，探討新技術趨勢下，企業如何把握升級機會、跟上時代節奏，在諸多競爭者中脫穎而出。
詳情及報名連結： ofollow,noindex" target="_blank">https://www.iyiou.com/post/ad/id/730
