如何利用大資料查詢功能分析資訊
當前,大資料、網際網路+、雲端計算等詞,已經成為人人熟知的詞彙,各行業的使用者都在高頻度的接觸這些專業術語,可以說大資料不僅是行業趨勢,也已經在方方面面中影響著人們的生活,而如今這個時代已經算是“大資料時代”,使用大資料進行查詢、分析變得很普遍。
以往傳統行業中,業務系統多以OLTP1為主,尤其傳統資料庫資料量多數是幾十萬或幾百萬,資料千萬就要分庫,分表了,過億了就要用到另外一種資料處理技術了。
我們正處在網際網路時代,需要處理的資料規模增長至TB乃至PB級別,隨著資料規模的持續增加,由應用產生資料型別已經較從前更為豐富,印象,捕獲、儲存、搜尋、分析、分析以及視覺化資料在不斷挑戰著傳統的關係型資料庫。
在大資料中,這些資料就像一車車的金礦石,先被放到一個矩形的倉庫中存了起來。發現金礦,採集礦石,運回倉庫,這些過程可能都不是最精彩的,大家最期盼的是如何將礦石變成金子,也就是鍊金。大資料的“鍊金術”就是發現數據的潛在價值。
在《大資料時代》這本書中說到,大資料是指不用隨機分析法這樣的捷徑,而是面對所有資料進行分析處理,並且具有大量、高速、多樣、真實性等特徵。
對於大資料資訊的處理中,通常以批處理(Batch),即席查詢和分析(Ad-hoc),流計算(Stream),這三種為主要方式,一般來說批處理通常是離線計算,對計算時效性要求不高,一個任務可以撇給它幾十個T甚至上P的資料,它都可以吃的消。
流計算是在資料流入的同時即把相應的計算操作完成,有極高的時效性,非常適用於實時統計,根據預設規則預警,結合各種演算法做預測等資料分析需求。
在各類形同中已經應用非常廣泛。但流計算本質屬於預計算分析,必須預先知道想要統計分析的資料或維度,根業內其它預計算引擎的短板一樣,就是靈活度極大受限。
即席查詢和分析的計算模式兼具了良好的時效性與靈活性,是對批處理,流計算兩大計算模式有力補充。
通過大資料查詢功能分析資訊,必然需要海量資料資訊,98資料可以擁有海量資料來源,使使用者在使用大資料分析時,不再擔心資料來源的情況。