1. 程式人生 > >一文讀懂大資料及大資料產業

一文讀懂大資料及大資料產業

隨著“雲端計算”、“網際網路”、“物聯網”的快速發展,大資料(Big Data)也吸引了越來越多的人關注,成為社會熱點之一。大街小巷不論是技術人員、諮詢人士以及各行各業的精英達人都在探討著“大資料”,“大資料”顯然已經成為新一代“網紅”。

 

一、大資料是如何成為網紅?

 

大資料一詞最早出現是在1980年著名未來學家托夫勒在其所著的《第三次浪潮》中,書中提出“如果說IBM的主機拉開了資訊化革命的大幕,那麼‘大資料’才是第三次浪潮的華彩樂章。” 2008年9月《自然》雜誌推出了名為“大資料”的封面專欄,從此大資料開始嶄露頭角,2009年“大資料”才成為資訊科技行業中的熱門詞彙。

 

2011年6月全球知名諮詢公司麥肯錫釋出《大資料:下一個創新、競爭和生產力的前沿》研究報告,最早提出“大資料時代已經到來”,從此大資料開始成為全球“網紅”,美國、中國、英國、日本等紛紛提出要投資這位“網紅”,引爆大資料發展的浪潮。

 

二、大資料究竟是什麼?

 

大資料在業內並沒有統一的定義,不同廠商、不同使用者,站的角度不同,對大資料的理解也不一樣。隨著大資料的不斷火熱,其定義通常指具有體量巨大(Volume)處理速度較快(velocity)、資料型別多樣(variety)以及商業價值較高(Value)等4V特點的資料。

 

圖1 大資料4V特點

在這裡我還是要推薦下我自己建的大資料學習交流裙:805127855, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴。

 

三、大資料發展階段及市場規模

 

目前,從發展階段來看,我國大資料產業處於快速推進期,中國和美國幾乎同一時期關注大資料產業,但與美國存在一定的差距,究其原因,美國是全球資訊科技產業的領頭羊, 在硬體和軟體領域都擁有超一流的實力, 早在大資料概念火熱起來之前, 美國資訊科技產業在大資料領域已經有了很多技術積累, 這使得美國的大型資訊科技企業可以迅速轉型為大資料企業,從而推動整個大資料產業在美國的發展壯大。另外中國資料大多數都掌握在政府手裡,資料來源比美國相對封閉,資料分析受到侷限,影響大資料的發展。

 

圖2 大資料發展階段

 

雖然目前中國在大資料領域稍滯後美國,但是從全球範圍來看,大資料產業已經開始處於概念熱潮的峰值滑落階段,而我國大資料產業市場規模仍保持超高速增長。

 

2015年我國大資料市場規模為1692億元(由於大資料是新興產業,統計口徑沒有標準,市場上對於大資料規模的統計資料各有不同,本文是根據貴陽大資料交易所資料得來),佔全球市場大資料總規模的20.30%,仍然具有增長空間。預計2020年全球大資料市場規模將超過10270億美元,我國大資料市場規模將接近13625億元。

 

四、大資料主要應用領域

 

談及大資料應用,可以分為政府服務類應用和行業商業類應用兩種。

 

政府服務類資料應用為政府管理提供強大的決策支援。在城市規劃方面,通過對城市地理、氣象等自然資訊和經濟、社會、文化、人口等人文社會資訊的挖掘,可以為城市規劃提供強大的決策支援,強化城市管理服務的科學性和前瞻性;在交通管理方面,通過對道路交通訊息的實時挖掘,能夠有效緩解交通擁堵,並快速響應突發狀況,為城市交通的良性運轉提供科學的決策依據;在輿情監控方面,通過網路關鍵詞搜尋及語義智慧分析,能提高輿情分析的及時性、全面性,全面掌握社情民意,提高公共服務能力,應對網路突發的公共事件,打擊違法犯罪;在安防領域,通過大資料的挖掘,可以及時發現人為或自然災害、恐怖事件,提高應急處理能力和安全防範能力。政府服務類大資料與民生密切相關,其應用主要包括智慧交通、智慧醫療、智慧家居、智慧安防等,這些智慧化的應用將極大地拓展民眾生活空間,引領大資料時代智慧人生的到來。

 

行業商業類大資料應用較多,主要將大資料與傳統企業相結合,有效提升運營效率和結構效率、推動傳統產業升級轉型。因此,各產業都在深入挖掘大資料的價值,研究大資料的深度應用,可以說,大資料在各行業的全面深度滲透將有力地促進產業格局重構,成為中國經濟新一輪快速增長的新動力和拉動內需的新引擎。

 

目前,眾多應用領域中,電子商務、電信領域應用成熟度較高,政府公共服務、金融等領域市場吸引力最大,具有發展空間。

 

圖3 大資料應用領域市場吸引力及應用成熟度模型

 

五、大資料產業鏈及細分領域

 

圖4 大資料產業架構圖

 

大資料產業是以大資料為核心資源,將產生的資料通過採集、儲存、處理、分析並應用和展示,最終實現資料的價值。整個大資料產業分為大資料核心業態和大資料衍生業態。

 

大資料核心業態圍繞資料如何獲取?獲取後的資料如何儲存並挖掘處理?處理後的資料如何應用?為重點。對應大資料產業架構的大資料儲存層、大資料分析層和大資料應用層。

 

大資料衍生業態指圍繞著大資料核心業態所需要的軟硬體基礎設施、安全服務、大資料交易和技術支援類產業。

 

依據從資料採集-資料儲存-資料處理-資料分析-資料應用這條產業鏈進行梳理,共涉及到11類主要產品和服務:

 

圖5 大資料細分領域涉及的產品和服務

 

六、我國大資料產業競爭格局

 

1

市場結構

 

我國大資料企業競爭格局總體呈現資料資源型企業、技術擁有型企業和應用服務型企業“三分天下”局面。

 

資料資源型企業,即先天擁有或者以匯聚資料資源為目標的企業,這類企業將佔據一定先發優勢,利用手中的資料資源,或挖掘資料來提升企業競爭力,或主導資料交易平臺機制的形成。以在自身行業積累了豐富資料資源,和力圖匯聚開放網路資料的企業以及網際網路企業為代表。典型代表企業資料堂、星圖資料、優易資料、騰訊、百度、阿里巴巴等。

 

技術擁有型企業是以技術開發見長的,即專注開發資料採集、儲存、分析以及視覺化工具的企業,包括軟體企業、硬體企業和解決方案商,代表企業星環科技、永洪科技、南大通用、華為、用友、聯想、浪潮、曙光等。

 

應用服務型企業是指為客戶提供雲服務和資料服務的應用服務型企業,這類企業廣泛對接各個行業,專注於產品的便捷化和易維護性,同時要針對不同行業客戶的需求提供差異化的服務代表企業百分點、明略資料、TalkingData等。

 

2

區域分佈

 

我國大資料產業集聚區主要位於經濟比較發達的地區,北京、上海、廣東是發展的核心地區,這些地區擁有知名網際網路及技術企業、高階科技人才、國家強有力政策支撐等良好的資訊科技產業發展基礎,形成了比較完整的產業業態,且產業規模仍在不斷擴大。

在這裡我還是要推薦下我自己建的大資料學習交流裙:805127855, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴。
 

除此之外,以貴州、重慶為中心的大資料產業圈,雖然地處經濟比較落後的西南地區,但是貴州、重慶等地依託政府對其大資料產業發展提供的政策引導,積極引進大資料相關企業及核心人才,力圖佔領大資料產業制高點,帶動區域經濟新發展。

 

圖6 我國大資料區域分佈圖

 

京津冀地區依託北京,尤其是中關村在資訊產業的領先優勢,培育了一大批大資料企業,是目前我國大資料企業集聚最多的地方。不僅如此,部分資料企業擴散了到天津和河北等地,形成了京津冀大資料走廊格局;

 

珠三角地區依託廣州、深圳等地區的電子資訊產業優勢,發揮廣州和深圳兩個國家超級計算中心的集聚作用,在騰訊、華為、中興等一批骨幹企業的帶動下,珠三角地區逐漸形成了大資料集聚發展的趨勢;

 

長三角地區依託上海、杭州、南京,將大資料與當地智慧城市、雲計算髮展緊密結合,吸引了大批大資料企業,促進了產業發展。上海釋出《上海推進大資料研究與發展三年行動計劃》,推動大資料在城市管理和民生服務領域應用。

 

大西南地區以貴州、重慶為代表城市,通過積極吸引國內外龍頭骨幹企業,實現大資料產業在當地的快速發展。2013年起,貴州市率先把握大資料發展機遇,充分發揮其發展大資料產業所獨具的生態優勢、能源優勢、區位優勢及戰略優勢等四大優勢,搶佔先機率先啟動首個國家大資料綜合實驗區、國家大資料產業集聚區和國家大資料產業技術創新實驗區;率先建成全國第一個省級政府資料集聚共享開放的統一雲平臺;率先開展大資料地方立法,頒佈實施《貴州省大資料應用促進條例》;率先設立全球第一個大資料交易所;率先舉辦貴陽國際大資料產業博覽會和雲上貴州大資料商業模式大賽等。

 

3

競爭態勢

 

從大資料產業鏈競爭態勢來看,大資料產業鏈整體佈局完整,但區域性環節競爭程度差異化明顯,產業鏈中游競爭集中度較高,基本被國外企業壟斷,位於產業鏈下游的資料展示與應用競爭集中度較低,尚未形成壟斷,是國內新興企業最有機會的領域。

 

圖7 大資料產業鏈不同環節競爭格局

 

七、我國大資料產業發展需求

 

我國持續增長的網民數量和網際網路普及率為資料量的擴大奠定基礎,隨著“網際網路+”的發展、資訊科技的創新、網際網路的普及,越來越多的資料將會得到記錄,資料來源範圍會不斷擴大,所屬行業會不斷豐富。據預測至2020年全球所產生的資料量將會達到40萬億GB(約為40EB),為大資料行業發展奠定基礎,催生強大的大資料儲存、處理與分析需求。

 



 

八、我國大資料產業存在挑戰

 

雖然我國大資料產業快速發展,但是仍存在行業發展良莠不齊、資料開放程度較低、安全風險日益突出、技術應用創新滯後等四大挑戰。

 

行業發展良莠不齊:我國大資料仍處於起步發展階段,行業標準和管理機制尚未成熟,在“萬眾創新,大眾創業”的大環境下,大量的大資料企業不斷湧現,存在很多企業借大資料概念熱潮投機倒把,行業發展良莠不齊;

 

資料開放程度較低:資料開放共享是促進大資料產業發展的重要舉措,我國政府部門掌握著全體社會80%的資訊資源,但這些資訊資源由於部門或區域利益分別被不同的部門控制,且不同部門的資料標準不一致,導致資訊流的上游環節處於封閉狀態,不能有效地釋放和共享,資料來源的欠缺直接影響大資料分析和處理的需求,導致大資料應用缺乏價值;

 

安全風險日益突出:隨著雲端計算、物聯網和移動網際網路等新一代資訊科技的飛速發展,大資料應用規模日趨擴大,資料及其應用皆呈指數級增長態勢,當企業用資料探勘和資料分析獲取商業價值的時候,黑客也可以利用大資料分析向企業發起攻擊,同時社交網站的隱私資料也可能被不法商家利用等等,這都給資料安全帶來了巨大的挑戰;

關注微信公眾號:程式設計師交流互動平臺!獲取資料學習!

技術應用創新滯後:我國大資料產業雖然與國際大資料發展幾近步伐相同,但是仍然存在技術及應用滯後的差距,在大資料相關的資料庫及資料探勘等技術領域,處於支配地位的領軍企業均為國外企業。市場上,由於國內大資料企業技術上的不足,使用者更加青睞IBM、甲骨文、EMC、SAP 等國外IT企業,國內企業市場佔有率僅5%左右。