1. 程式人生 > >大資料技術的應用現狀與展望

大資料技術的應用現狀與展望

本文是我即將由嵌入式底層驅動行業轉入大資料研究領域的綜述文章,案例摘自《程式設計師》電子期刊,由於初學者知識面較窄,檢視文獻量較少,因此後續還會在此基礎上,繼續跟蹤並深入研究,為論文撰寫積累知識儲備和素材。

1. 大資料技術的應用領域
2. 大資料技術的幾個應用案例
3. 大資料技術的問題與挑戰
4. 大資料技術的前景展望
1.大資料技術的應用領域
1.1 大資料研究的四項關鍵技術
(1)資料採集、預處理與儲存技術 
(2)資料分析、學習與資訊挖掘技術 
(3)資料安全與隱私保護技術 
(4)資料的中心體系結構 


1.2 大資料技術的應用領域
(1)以大資料技術為基礎的現有資料處理領域,比如影象(人臉)的識別、匹配,視訊壓縮解碼 
(2)以大資料技術為基礎的資料學習領域,比如語音識別、漢字等語義學習以及商用平臺的資訊推薦系統等 
(3)以大資料技術為基礎的系統連線與互動領域,比如基於智慧對話的人機互動,對話系統的語言理解與分析等

2.大資料技術的幾個應用案例
2.1 基於注意力機制的端到端語音識別方案——應用廠商小米
 
(1) 端到端語音識別只需呀一個神經網路就可以識別漢字序列。 
(2) 注意力機制摒棄了傳統的不準確性假設。 
(3)該技術只停留在演算法階段,存在難收斂、訓練速度慢和無法給出音素切分點等缺點。

2.2 面向影象分析應用得海量樣本過濾方案——應用廠商蘇寧
 
(1) 多重過濾效果明顯。 
(2) 利用初級特徵、深度特徵以及無監督聚類和深度分類器的分類方法,可提取高質量影象。 
(3) 海量高質量影象樣本的獲取,是取得優異演算法效能的重要前提。

2.3從連線到互動的智慧對話互動實踐及正規化思考——應用廠商阿里巴巴
(1) 人和智慧裝置互動一定是自然語言。 
(2) 人和裝置互動是雙向的。 
(3) 人和裝置對話互動的多輪的。 
(4) 需要較好的上下文理解。 
對話系統架構框圖: 
 
自然語言理解流程: 
 
人機互動的幾個階段: 
 
人機互動第二階段實現方案: 
 
智慧對話互動生態的正規化思考——開發者平臺: 
 

 

想要在大資料這個領域汲取養分,讓自己壯大成長。分享方向,行動以前先分享下一個大資料交流分享資源群870097548,歡迎想學習,想轉行的,進階中你加入學習。


總結: 
(1).打造語言理解的魯棒性和領域擴充套件性; 
(2).打造機器持續學習的能力; 
(3).打造資料閉環。

3. 大資料技術的問題與挑戰
(1) 大資料的資料分析需求不僅體現在海量資料的處理能力上,還體現在對新的知識型別的興趣上。需要新型的區域性資料取樣進行資料分析的策略。 
(2) 大資料深度學習問題:理論分析、資料特徵提取以及訓練和優化提取技術。 
(3) 大資料隱私保護問題:需要相關政策法規的約束。 
(4) 大資料質量和可用性問題:比如資料的冗餘、噪聲和誤差的負面影響,還有資料一致性、精確性和完整性等問題。

4. 大資料技術的前景展望
(1) 大資料技術還需探索多資料來源有效獲得高質量資料的理論與方法。 
(2) 大資料技術還需研究高效的資料過濾方法,建立多模態融合計算的理論,提高資料的可用性。 
(3) 大資料技術還需解決資料恢復、定量評估和資料演化的新問題,進一步研究近似計算理論和技術,解決缺失資料的利用