1. 程式人生 > >簡述大數據開發核心技術是什麽

簡述大數據開發核心技術是什麽

hdf 資源 分布式文件 關於 分布 驅動 高效 也會 我們

數據的核心是雲技術和BI。關於大數據和雲計算的關系人們通常會有誤解,而且也會把它們混起來說,分別做一句話直白解釋就是:雲計算就是硬件資源的虛擬化;大數據就是海量數據的高效處理。如果做一個更形象的解釋,雲計算相當於我們的計算機和操作系統,將大量的硬件資源虛擬化之後再進行分配使用;大數據則相當於海量數據的“數據庫”。

整體來看,未來的趨勢是,雲計算作為計算資源的底層,支撐著上層的大數據處理,而大數據的發展趨勢是,實時交互式的查詢效率和分析能力,當前的大數據處理一直在向著近似於傳統數據庫體驗的方向發展。

大數據的4V特性,即類型復雜,海量,快速和價值,其總體架構包括三層,數據存儲,數據處理和數據分析,三層的相互配合,讓大數據最終產生價值。

數據存儲層,從存儲層的搭建來說,關系型數據庫,NoSQL數據庫和hdfs分布式文件系統三種存儲方式都需要。從用戶來講並不關心底層存儲細節,只關心數據的存儲和讀取的方便性,通過共享數據存儲層可以實現在存儲上的應用和存儲基礎設置的徹底解耦。

數據處理層核心解決問題在於數據存儲出現分布式後帶來的數據處理上的復雜度,海量存儲後帶來了數據處理上的時效性要求,這些都是數據處理層要解決的問題。

數據分析層重點是真正挖掘大數據的價值所在,而價值的挖掘核心又在於數據分析和挖掘。那麽數據分析層核心仍然在於傳統的BI分析的內容。包括數據的維度分析,數據的切片,數據的上鉆和下鉆,cube等。

由此可以看來大數據兩大核心為雲技術和BI,離開雲技術大數據沒有根基和落地可能,離開BI和價值,大數據又變化為舍本逐末,丟棄關鍵目標。簡單來說,就是大數據目標驅動是BI,大數據實施落地式雲技術。

簡述大數據開發核心技術是什麽