1. 程式人生 > >人工智能:下一個數據分析的黃金時代

人工智能:下一個數據分析的黃金時代

人工智能 大數據 數據分析

技術分享圖片

今天的中國正在進入數據分析的黃金時代。根據中國信通院,2016年中國大數據市場規模為168.0億元、增速達到45%,預計2017-2020年增速保持在30%以上。而在中國信通院2017年3月的一份調查顯示,有59.2%的受訪企業已經建立了數據分析部門,27.3%的企業正在計劃成立數據部門,絕大部分企業均已意識到數據分析對企業發展的重要性。

反應到市場的人才儲備方面,在由全球數據分析領導企業SAS公司舉辦的2017中國高校SAS數據分析大賽上,今年的參賽隊伍跳升到全國1036支參賽隊伍近3000多人。而在2013年首次舉辦該賽事的時候,僅有55支參賽團隊約150人參加,2015年達到了295支參賽團隊,2016年躍升至658支參賽團隊。今年的比賽,全國綜合排名前三十名的高校全部報名參賽。

數據分析的高校學生群體正在快速增長,這也就是意味著未來幾年的數據分析人才將有所增加。但根據Talkingdata和獵聘網的估算,我國到2020年的大數據人才缺口將達200萬,核心需求包括數據工程師、數據分析師和AI工程師/科學家。前不久,美國《哈佛商業評論》發表文章指出,人工智能是下一個數據分析的黃金時代,企業需要進一步建立基於人工智能的數據分析戰略。

把AI集成到數據分析戰略中

自2016年以來,人工智能在市場中的聲量和熱度已經一浪超過一浪。從AlphaGo到AlphaGo Zero,在商業界和企業界被人工智能的飛速進展所震驚的同時,依然要保持清醒的認識,那就是任何新技術想要落實到企業的實際生產、運營和管理中時,仍然需要清晰的落地路徑、可結合的業務場景以及強有力的領導力。

SAS公司的一份《集成AI到企業分析戰略》的白皮書指出,人工智能和機器學習盡管功能強大,但還僅限於特定的任務,可適用的範圍也有所局限。人工智能和機器學習所產生的洞察和結論,仍然需要人類智慧來決定其用途、在更大的企業戰略中發揮作用,才能真正達成企業的戰略目標。

為此,SAS建議企業要把人工智能集成到更大的企業戰略中去考慮。在企業實施AI的時候,需要系統性的投資與計劃,包括人才。在實施AI應用之前,企業必須要首先建立一個商業策略,明確AI與數據分析要形成合力,才能真正讓AI見效。企業還需要相應建立AI與數據分析分析領導力:人員、流程與技術。

SAS白皮書認為,AI不能以黑盒方式運作於企業的數據分析戰略之外,而必須與企業的整體數據分析結合起來。不同的分析方法,適用於不同的業務場景。有的場景下,適用基於統計學等的數據分析;而有的場景,則適合用人工智能與機器學習的方式處理。

SAS公司作為全球最大的數據分析供應商,也在發展自己的人工智能與機器學習技術。與其它技術供應商不同的是,SAS在人工智能方面的核心競爭力,是把傳統數據分析和現代機器學習算法集成到一個SAS平臺上:也就是一個平臺、任何分析算法。而這對於企業來說,是最理想的選擇,這樣可以在一個企業級技術平臺上,管理所有的算法和分析。

一個平臺、任何算法

成立於1976年的SAS公司,一直專註於商業數據分析領域。SAS公司在2016年被超過30份權威分析機構的報告或評估中被列為領導者,這包括分析、數據管理、數據整合、數據質量、數字營銷、高級和預測分析、客戶洞察、零售分析、商業智能、欺詐檢測、安全解決方案等。根據IDC,SAS占全球高級和預測分析市場33.3%的份額,比前10名中其它9家相關廠商營收的總合還要多。

對於SAS公司來說,人工智能與機器學習也一直是其關註的算法方向。在機器學習領域,SAS重點關註深度學習算法;在自然語言處理領域,SAS重點關註自然語言理解。其中,深度學習算法可以讓機器處理海量的數據,而不斷增長的計算力則能讓機器處理更大規模的算法模型;加上通過自然語言與機器進行交互,就可以創造人機之間更強的協同。

有了深度學習和自然語言理解這,企業就能在業務場景中創建模式識別、預測、分類、圖像識別、語音識別、基於認知的搜索、自然語言交互和自然語言描述等AI能力。比如自然語言描述就是用機器分析大量的文檔,然後機器再以自然語言的方式進行總結,將結果返回給人們;基於認知的搜索,就是通過根據網民的畫像,推薦同類用戶都喜歡的商品。把這些AI能力組合,就可以開發出AI應用。

SAS公司在深度學習方面已經有超過40年的研究歷史,而在自然語言理解方面也有超過30年的研究投入。今天,這些研究成果都已經嵌入到了SAS數據分析平臺產品中,包括SAS 9平臺和SAS Viya雲服務。通過SAS一個平臺跨本地部署和雲端,企業可以管理整個分析的生命周期。

SAS公司大中華區總裁吳輔世強調,SAS公司過去兩年投入了10億美金開發了新一代的SAS Viya雲平臺,是雲分析、高性能分析、人工智能分析等統一集成開放平臺,而無論是SAS 9還是SAS Viya都擁抱和融合了開源分析技術,從而成為新一代企業分析的關鍵性技術平臺。

SAS開源技術白皮書指出,SAS 9和SAS Viya都兼容開源的機器學習語言Python和R,與Hadoop開源大數據框架結合,能夠在混合雲環境中很好的轉換。SAS公司還在數據治理、可擴展性、兼容性、用戶交互、可視化分析、可移植部署、高效運算等方面,對人工智能和機器學習算法進行了商業化和工程化處理。

此外,SAS也支持開源應用和SAS平臺之間的相互調用,SAS也在Github維護了由SAS負責的開源項目。作為開源項目開放數據平臺(Open Data Initiative,ODI)的創始成員、數據管理項目(Data Governance Initiative,DGI)的合作夥伴,SAS公司一直保持與開源社區的互動。

最佳高級分析實踐

在2017年第三季度的時候,美國數據科學領域的市場調查公司TDWI發布了一份《高級分析:邁向人工智能、機器學習和自然語言處理》企業調查報告,指出已經有不少企業率先采用了人工智能、機器學習和自然語言處理,其中多數是聯合使用商用和開源技術,特別是用開源技術建立模型後再投產到商用工具平臺上,而先行者們已經從這些新型高級分析技術和應用中受益。

TDWI發現,那些成功部署了高級分析技術的企業,更願意衡量這些技術所能創造的價值。這是因為,在這些企業中已經形成了數據分析的良性循環。也就是說,當一個企業向分析平臺中添加更多的數據時,就能產生更好的分析結果,更好的分析結果能驅動企業更加成功,而當企業一旦在分析的基礎上實現了更高營收後,就更願意向新的分析技術進行投資。TDWI稱之為“分析的成功周期”。

在前期已經見效的AI等新型高級分析應用中,既有傳統的金融欺詐與風險分析、用戶行為分析等場景,也有預測性維護場景,還有互動聊天機器人以及嵌入了自然語言交互的B2B應用,在圖片分析和疾病診斷中也使用了深度學習的方法,其它場景還包括翻譯、新藥開發、認知教師、網絡安全、智能汽車等等廣泛的領域。

TDWI發現,這些成功的早期采用者有兩個普遍的最佳實踐:在應用AI等新型高級分析技術之前,必須要清楚地明白和理解企業的目標;其次是IT部門要與業務部門一起合作,才能真正把AI等新型高級分析技術在企業內落地。TDWI指出,在實施AI等新型高級分析技術時,要有一個清晰的項目目標,從而讓所有項目涉及到的利益方都能夠認同項目,還要時刻保持對項目目標的關註。

在具體實施AI等新型高級分析項目時,還有一個成功策略:建立最佳實踐中心(CoE)。所謂最佳實踐中心,即由跨部門、跨職能、跨組織的高級分析領導力成員所組的小組,這個不組不僅負責構建和部署分析技術與策略,還負責在企業內部培訓以及傳播最佳分析實踐。

其它的最佳實踐還有獲得企業高層的認可、分析的結果可衡量、在定義項目目標前先做數據實驗、組建核心團隊構建PoC概念驗證、建立內部信任、對分析成果不斷溝通與傳播等。

SAS公司贊助了TDWI的本次用戶調研。通過調研,TDWI總結了機器學習、自然語言處理和人工智能等技術的10大最佳實踐:理解業務挑戰、盡快從小處起步、了解開源技術的好與不好、雇用數據科學家、建立最佳實踐中心、由分析專家執掌和管理項目、要考慮基礎設施(包括雲)、註意數據質量、分析結果要可執行、了解分析成功周期。

人工智能將推進數據分析進入到新的黃金時代,2018年將舉辦首屆SAS數據分析企業大賽,相信有更多的企業代表將帶來在人工智能與數據分析方面的實戰見解與經驗分享。

對於正在建立人工智能戰略的企業來說,應當認識到人工智能與數據分析必須結合在一起才能真正為企業創造商業價值。正如Gartner近期指出:首席數據官應馬上認識到,為了讓人工智能發揮出全部潛力,必須在數據科學領域培育更高的組織能力,並利用數據與分析獲得各種洞察力。(文/寧川)


人工智能:下一個數據分析的黃金時代