1. 程式人生 > >什麼是大資料?為什麼大資料這麼火?

什麼是大資料?為什麼大資料這麼火?

科技的進步在很多的時候總會超出我們的想象,試想如果未來我們一個人擁有的電腦裝置超過現在全球現在計算能力的總和,一個人產生的資料量超過現在全球資料量的總和,甚至你的寵物小狗產生的資訊量都超過現在全球資料量的總和,世界會發生什麼呢?那就取決於你的想象力了。

推薦下小編的大資料學習群;251956502,不管你是小白還是大牛,小編我都歡迎,不定期分享乾貨,歡迎初學和進階中的小夥伴。

每天晚上20:00都會開直播給大家分享大資料知識和路線方法,群裡會不定期更新最新的教程和學習方法,大家都是學習大資料的,或是轉行,或是大學生,還有工作中想提升自己能力的,如果你是正在學習大資料的小夥伴可以加入學習。最後祝所有程式設計師都能夠走上人生巔峰,讓程式碼將夢想照進現實,非常適合新手學習,有不懂的問題可以隨時問我,工作不忙的時候希望可以給大家解惑。

一、大資料的初步理解

似乎一夜之間,大資料(Big Data)變成一個IT行業中最時髦的詞彙。

首先,大資料不是什麼完完全全的新生事物,Google的搜尋服務就是一個典型的大資料運用,根據客戶的需求,Google實時從全球海量的數字資產(或數字垃圾)中快速找出最可能的答案,呈現給你,就是一個最典型的大資料服務。只不過過去這樣規模的資料量處理和有商業價值的應用太少,在IT行業沒有形成成型的概念。現在隨著全球數字化、網路寬頻化、網際網路應用於各行各業,累積的資料量越來越大,越來越多企業、行業和國家發現,可以利用類似的技術更好地服務客戶、發現新商業機會、擴大新市場以及提升效率,才逐步形成大資料這個概念。

大資料並不是很神奇的事情。就如同電影《永無止境》提出的問題:人類通常只使用了20%的大腦,如果剩餘80%大腦潛能被激發出來,世界會變得怎樣?在企業、行業和國家的管理中,通常只有效使用了不到20%的資料(甚至更少),如果剩餘80%資料的價值激發起來,世界會變得怎麼樣呢?特別是隨著海量資料的新摩爾定律,資料爆發式增長,然後資料又得到更有效應用,世界會怎麼樣呢?

單個的資料並沒有價值,但越來越多的資料累加,量變就會引起質變,就好像一個人的意見並不重要,但1千人、1萬人的意見就比較重要,上百萬人就足以掀起巨大的波瀾,上億人足以改變一切。

資料再多,但如果被遮蔽或者沒有被使用,也是沒有價值的。中國的航班晚點非常多,相比之下美國航班準點情況好很多。這其中,美國航空管制機構一個的好做法發揮了積極的作用,說起來也非常簡單,就是美國會公佈每個航空公司、每一班航空過去一年的晚點率和平均晚點時間,這樣客戶在購買機票的時候就很自然會選擇準點率高的航班,從而通過市場手段牽引各航空公司努力提升準點率。這個簡單的方法比任何管理手段(如中國政府的巨集觀調控手段)都直接和有效。這裡多說一兩句,過去一個暴政國家對內的控制主要是物理上的暴力,就是強力機構權力無限大,搞國家恐怖主義;而現在一個暴政國家,主要是就靠壟斷資訊、封鎖資訊,讓民眾難以獲得廣泛而真實的資訊,從而實現國家的控制。這個資訊封鎖,就是對大資料的封鎖。

沒有整合和挖掘的資料,價值也呈現不出來。《永無止境》中的庫珀如果不能把海量資訊圍繞某個公司的股價整合起來、串聯起來,這些資訊就沒有價值。

因此,海量資料的產生、獲取、挖掘及整合,使之展現出巨大的商業價值,這就是大資料。在網際網路對一切重構的今天,這些問題都不是問題。因為,大資料是網際網路深入發展的下一波應用,是網際網路發展的自然延伸。目前,可以說大資料的發展到了一個臨界點,因此才成為IT行業中最熱門的詞彙之一。

什麼是大資料?為什麼大資料這麼火?

 

二、大資料將重構很多行業的商業思維和商業模式

第一,大資料使企業真正有能力從以自我為中心改變為以客戶為中心。企業是為客戶而生,目的是為股東獲得利潤。只有服務好客戶,才能獲得利潤。但過去,很多企業是沒有能力做到以客戶為中心的,原因就是相應客戶的資訊量不大,挖掘不夠,系統也不支援,目前的保險業就是一個典型。大資料的使用能夠使對企業的經營物件從客戶的粗略歸納(就是所謂提煉歸納的“客戶群”)還原成一個個活生生的客戶,這樣經營就有針對性,對客戶的服務就更好,投資效率就更高。

第二,大資料一定程度上將顛覆了企業的傳統管理方式。現代企業的管理方式是來源於對軍隊的模仿,依賴於層層級級的組織和嚴格的流程,依賴資訊的層層彙集、收斂來制定正確的決策,再通過決策在組織的傳遞與分解,以及流程的規範,確保決策得到貫徹,確保每一次經營活動都有質量保證,也確保一定程度上對風險的規避。過去這是一種有用而笨拙的方式。在大資料時代,我們可能重構企業的管理方式,通過大資料的分析與挖掘,大量的業務本身就可以自決策,不必要依靠膨大的組織和複雜的流程。大家都是基於大資料來決策,都是依賴於既定的規則來決策,是高高在上的CEO決策,還是一線人員決策,本身並無大的區別,那麼企業是否還需要如此多層級的組織和複雜的流程呢?

第三,大資料另外一個重大的作用是改變了商業邏輯,提供了從其他視角直達答案的可能性。現在人的思考或者是企業的決策,事實上都是一種邏輯的力量在主導起作用。我們去調研,去收集資料,去進行歸納總結,最後形成自己的推斷和決策意見,這是一個觀察、思考、推理、決策的商業邏輯過程。人和組織的邏輯形成是需要大量的學習、培訓與實踐,代價是非常巨大的。但是否這是唯一的道路呢?大資料給了我們其他的選擇,就是利用資料的力量,直接獲得答案。就好像我們學習數學,小時候學九九乘法表,中學學幾何,大學還學微積分,碰到一道難題,我們是利用了多年學習沉澱的經驗來努力求解,但我們還有一種方法,在網上直接搜尋是不是有這樣的題目,如果有,直接抄答案就好了。很多人就會批評說,這是抄襲,是作弊。但我們為什麼要學習啊?不就是為了解決問題嘛。如果我任何時候都可以搜尋到答案,都可以用最省力的方法找到最佳答案,這樣的搜尋難道不可以是一條光明大道嗎?換句話說,為了得到“是什麼”,我們不一定要理解“為什麼”。我們不是否定邏輯的力量,但是至少我們有一種新的巨大力量可以依賴,這就是未來大資料的力量。

第四,通過大資料,我們可能有全新的視角來發現新的商業機會和重構新的商業模式。我們現在看這個世界,比如分析家中食品腐敗,主要就是依賴於我們的眼睛再加上我們的經驗,但如果我們有一臺顯微鏡,我們一下就看到壞細菌,那麼分析起來完全就不一樣了。大資料就是我們的顯微鏡,它可以讓我們從全新視角來發現新的商業機會,並可能重構商業模型。我們的產品設計可能不一樣了,很多事情不用猜了,客戶的習慣和偏好一目瞭然,我們的設計就能輕易命中客戶的心窩;我們的營銷也完全不同了,我們知道客戶喜歡什麼、討厭什麼,更有針對性。特別是顯微鏡再加上廣角鏡,我們就有更多全新的視野了。這個廣角鏡就是跨行業的資料流動,使我們過去看不到的東西都能看到了,比如前面所述的汽車案例,開車是開車,保險是保險,本來不相關,但當我們把開車的大資料傳遞到保險公司,那整個保險公司的商業模式就全變了,完全重構了。

第五,大資料發展對IT本身技術架構的革命性影響。大資料的根基是IT系統。我們現代企業的IT系統基本上是建立在IOE(IBM小型機、Oracle資料庫、EMC儲存)+Cisco模型基礎上的,這樣的模型是Scale-UP型的架構,在解決既定模型下一定資料量的業務流程是適配的,但如果是大資料時代,很快會面臨成本、技術和商業模式的問題,大資料對IT的需求很快就會超越了現有廠商架構的技術頂點,超大資料增長將帶來IT支出增長之間的線性關係,使企業難以承受。因此,目前在行業中提出的去IOE趨勢,利用Scale-out架構+開源軟體對Scale-up架構+私有軟體的取代,本質是大資料業務模型所帶來的,也就是說大資料將驅動IT產業新一輪的架構性變革。去IOE潮流中的所謂國家安全因素,完全是次要的。

因此,大資料這麼熱門,是完全有道理的。