1. 程式人生 > >“大資料”,IT行業的又一次技術變革

“大資料”,IT行業的又一次技術變革

工業革命以後,書籍等以文字為載體的知識大約每十年翻一番;1970年以後,大約每三年翻一番。2010年,網際網路所產生的資料量比之前所有年份的總和還要多。據IDC研究報告,未來10年全球資料量將以40+%的速度增長,2020年全球資料量將達到35ZB,為2009年的44倍。在“大資料”(Big data)時代,通過網際網路、社交網路、物聯網,人們能夠及時全面地獲得海量資訊。同時,資訊自身存在形式的變化與演進,也使得作為資訊載體的資料以遠超人們想象的速度迅速膨脹。毋庸置疑,“大資料”是繼網際網路、雲端計算、物聯網之後IT行業又一次翻天覆地的技術變革。

    “大資料”是一個涵蓋多種技術的概念,簡單地說,是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的資料集合。IBM將“大資料”理念定義為4個V,即大量化(Volume)、多樣化(Variety)、快速化(Velocity)及由此產生的價值(Value)。

    “大資料”技術將在未來三五年內進入主流

    雲時代的到來使得資料創造的主體由企業逐漸轉向個體,而個體所產生的絕大部分資料為圖片、文件、視訊等非結構化資料。資訊化技術的普及使得企業更多的辦公流程通過網路得以實現,由此產生的資料也以非結構化資料為主。預計到2012年,非結構化資料將達到網際網路整個資料量的75%以上。用於提取智慧的“大資料”,往往是這些非結構化資料。

    傳統的資料倉庫系統、BI、鏈路挖掘等應用對資料處理的時間要求往往以小時或天為單位。但“大資料”應用突出強調資料處理的實時性。線上個性化推薦、股票交易處理、實時路況資訊等資料處理時間要求在分鐘甚至秒級。

    全球技術研究和諮詢公司Gartner將“大資料”技術列入2012年對眾多公司和組織機構具有戰略意義的十大技術與趨勢之一,而其他領域的研究,如雲計算、下一代分析、記憶體計算等也都與“大資料”的研究相輔相成。Gartner在其新興技術成熟度曲線中將“大資料”技術視為轉型技術,這意味著“大資料”技術將在未來3—5年內進入主流。

    資料將成為企業的核心資產

    “大資料”的多樣性決定了資料採集來源的複雜性,從智慧感測器到社交網路資料,從聲音圖片到線上交易資料,可能性是無窮無盡的。選擇正確的資料來源並進行交叉分析可以為企業創造最顯著的利益。隨著資料來源的爆發式增長,資料的多樣性成為“大資料”應用亟待解決的問題。例如如何實時地及通過各種資料庫管理系統來安全地訪問資料,如何通過優化儲存策略,評估當前的資料儲存技術並改進、加強資料儲存能力,最大限度地利用現有的儲存投資。從某種意義上說,資料將成為企業的核心資產。

    “大資料”不僅是一場技術變革,更是一場商業模式變革。在“大資料”概念提出之前,儘管網際網路為傳統企業提供了一個新的銷售渠道,但總體來看,二者平行發展,鮮有交集。我們可以看到,無論是Google通過分析使用者個人資訊,根據使用者偏好提供精準廣告,還是Facebook將使用者的線下社會關係遷移在線上,構造一個半真實的實名帝國,但這些商業和消費模式仍不能脫離網際網路,傳統企業仍無法嫁接到網際網路中。同時,傳統企業通過傳統的使用者分析工具卻很難獲得大範圍使用者的真實需求。

    企業從大規模製造過渡到大規模定製,必須掌握使用者的需求特點。在網際網路時代,這些需求特徵往往是在使用者不經意的行為中透露出來的。通過對資訊進行關聯、參照、聚類、分類等方法分析,才能得到答案。

    “大資料”在網際網路與傳統企業間建立一個交集。它推動網際網路企業融合進傳統企業的供應鏈,並在傳統企業種下網際網路基因。傳統企業與網際網路企業的結合,網民和消費者的融合,必將引發消費模式、製造模式、管理模式的巨大變革。

    企業從資料中挖掘出新價值

    融合生產流程資料、ERP、CRM以及社會化資料,企業從中可以挖掘出諸多新價值。

    1.創造資料透明度是產生價值的前提。對使用者來說,充分了解生產企業和海量產品的質量和價格,有助於使用者選擇需要的產品。對企業來說,透明的資料有助於企業完善定價策略、庫存和物流。

    2.細分人群,實施精準營銷。企業利用使用者在網際網路上的訪問行為偏好能為每個使用者勾勒出一副“數字剪影”,為具有相似特徵的使用者組提供精確服務滿足使用者需求,甚至為每個客戶量身定製。這一變革將大大縮減企業產品與終端使用者的溝通成本,使得營銷過程從“紡錘型”模型(企業與使用者受益低,營銷過程臃腫)進化到“啞鈴型”模型(營銷過程直接簡單,帶來企業和終端使用者受益增加)。

    3.科學管理,提高企業執行效率。企業在擁有了感知市場和使用者的能力後,可以將更加科學的方法引入管理中,使用控制實驗的科學流程,嚴格分析實驗結果後再做出生產、市場、銷售決策。

    4.自動演算法代替或者幫助人工決策。自動演算法有效地解決了海量資料實時處理的難題。在海量資料精密分析的基礎上,企業能夠實質性地優化決策、減少風險以及發掘有價值的觀點。

    5.創新商業模式、產品和服務。基於“大資料”,所有型別的企業都可以建立新產品和服務、改善現有的產品和服務以及發明全新的商業模式。例如,基於個人位置資訊的掌握,已催生出大量的新型服務(LBS)業務:個人定位、社交網路位置簽到服務、地理位置導航、位置搜尋等,併產生了基於廣告、下載訂閱、應用收費、內容收費等多種商業模式。

    “大資料”的經濟社會價值遠遠沒有開發出來

    網際網路時代,線上廣告已經被驗證是最可靠的盈利模式,Google2011年線上廣告收入達到350億美元。因此,對網際網路使用者行為及廣告資料進行分析是最典型的“大資料”應用。

    網際網路廣告產業鏈包含了使用者、廣告主、網站媒體、廣告服務商以及電信運營商等多種角色,每一個參與者都產生了海量資料,這些資料格式多樣,且分佈在網路的各個層面,其規模和複雜度超出了現有技術的能力,對IT系統提出了更高要求,具有高可擴充套件性、高可用性、高安全性和易訪問的海量計算和儲存裝置是未來研究的重點。

    我國很多企業已經開始從網際網路海量資料中挖掘商業資訊。例如,億贊普(IZP)每天監控的網頁達到50億PV(頁面瀏覽),收集到的網站各類訪問日誌總量已經達到100TB級,每天經分析及壓縮處理後留存下來的歷史運營資料已達到PB級,而且這個數字還在不斷增加。基於領先的“大資料”分析技術,億贊普提高了資料的透明度。“大資料”使得億贊普的廣告系統具有了預測廣告投放效果的能力,基於對海量使用者特徵的數字化勾勒,可以構造使用者點選率模型,預測廣告投放的ROI。正是因為擁有大資料,並能對資料資源進行充分的挖掘,億贊普公司提出了“啞鈴型”營銷模型,帶來網際網路營銷的進化。

    應當說,基於“大資料”分析、挖掘而積累的網際網路知識是最具戰略性的資產,這種基於知識模式的經濟價值和社會價值還遠遠沒有發掘出來,其發展空間不可估量。