1. 程式人生 > >阿里雲釋出時間序列資料庫TSDB,關於時序你瞭解多少?

阿里雲釋出時間序列資料庫TSDB,關於時序你瞭解多少?

概要介紹

時間序列資料是一種表示物理裝置,系統、應用過程或行為隨時間變化的資料,廣泛應用於物聯網,工業物聯網,基礎運維繫統等場景。阿里雲TSDB 時間序列資料庫可以解決大規模時序資料的可靠寫入,降低資料儲存成本,實時靈活的完成業務資料聚合分析。

什麼是時序資料

我們來看感受一下平時自己特別熟悉的場景,就會發現時序和每個人都存在非常緊密的關係:

電商系統獲取每筆訂單交易金額和支付金額資料以及商品庫存和物流資料;

智慧電錶,會實時記錄每個小時的用電量資料,比給出賬單資料;

高山上的風車的獲取實時轉速,風速資料,發電量資料。

應用服務呼叫量有沒有異常,伺服器的負載和資源使用率如何?

這些應用程式均依賴一種衡量事物隨時間的變化的資料形式,每一個數據源定期傳送新的讀數,建立一系列隨時間推移收集到的測量結果,這就是時序資料,時序資料資料集主要有以下三個特點:

新入庫資料幾乎總是作為新條目被記錄 資料通常按照產生時間順序入庫 所有的資料都自帶時間戳, 因此,我們這樣定義時間序列資料:統一表示系統、過程或行為隨時間變化的資料

時序資料的價值

相較域非時序資料,核心區別在於時序資料能夠反映“變化”本身。當你為某個物聯網裝置收集新資料時,是覆蓋以往的讀數,還是在新的一行建立全新的讀數?儘管這兩種方法都能為你提供系統的當前狀態,但只有第二種方法才能跟蹤系統的所有狀態。

所以時序資料的價值在於將系統的每個變化都記錄為新的一行,從而可以去衡量變化,分析過去的變化,監測現在的變化,以及預測未來將如何變化。

時序資料庫TSDB 的價值

為什麼不能用常規資料庫來管理時序資料呢,為什麼需要時序資料庫呢?事實上答案是你可以使用非時間序列資料庫,如同你可以為航天飛行器配備一個普通的汽車發動機,雖然也可以飛起來,但是終究不能實現航天飛行的“夢想”。

而更多業務場景選擇擇時序資料庫而非通用資料庫技術也是類似的原因歸結起來就是兩個核心點:規模和可用性。

(1)規模:時間序列資料累計速度非常快。例如,一輛聯網汽車每小時產生幾百GB 的資料。關係型資料庫處理大資料集的效果非常糟糕;NoSQ資料庫可以很好地處理規模資料,但是仍然比不上一個針對時間序列資料微調過的資料庫。相比之下,時間序列資料庫將時間作為最高優先順序來處理,通過提高區間資料實時查詢效率來處理這種大規模資料,並帶來效能的提升,包括:每秒寫入速度,能夠支撐的裝置指標量,讀取資料效率和非常高的儲存壓縮比。而時間序列資料在技術領域的關注度也日益提升。

資料來源:DBengine 2018.9月報告

(2)可用性:TSDB通常還包括一些共通的對時間序列資料分析的功能和操作:資料保留策略、連續查詢、靈活的時間聚合等。以及很好的擴充套件性。比如常見的時序降精度和聚合計算,而非時序資料庫都不具備這個能力。這就是為什麼企業開發人員越來越多地採用時間序列資料庫,並將它們用於各種使用場景。

使用阿里雲TSDB 的理由

阿里巴巴業務覆蓋面廣,諸如 電商交易跟蹤, 容器指標監控, 服務監控,物流配送跟蹤,智慧園區的智慧裝置監控等對時序資料庫存在強烈的需求,選擇阿里雲 TSDB 是因為具備如下的優勢:

高效能

TSDB具有高效的吞吐能力,實際壓測對比,TSDB 的讀取效率比開源的OpenTSDB 和InfluxDB 讀取效率要高出一個數量級,實際業務上過用TSDB 來代替傳統的基於Hbase的方案,整體機器成本縮減了50%以上。

資料儲存成本更低

時序資料都是持續寫入的,任何一個數據的變化都會記錄到時序資料庫,所以相比較OLTP類的資料庫,對於資料庫的容量要求是PB級別。TSDB 可以做到最高10:1的無失真壓縮效率。大大降低了業務的儲存成本。

分析能力強

時序最核心的能力在於資料分析能力,TSDB 提供專業全面的時序資料計算函式,支援降取樣、資料插值和空間聚合計算,能滿足各種複雜的業務資料查詢場景。百萬級別資料點聚合分析秒級完成。

功能完備

時序資料庫支援豐富的計算能力,如降精度和聚合計算。

降精度

我們看一個降精度例子, 園區管理員要把園區所有的照明燈的用電量資料採集起來,進行統一的監控分析,達到節能管控的目的。如果管理員要檢視最近24小時耗電量的時候,那麼可以直接從TSDB裡獲取原始資料檢視用電量趨勢。 而管理員要檢視最近3年的用電量趨勢的時候,管理員可以隨機按照“天”,“周”,“月”這些比較粗粒度的時間精度來進行資料計算,所有降精度的資料通過原始小時資料按照時序提供的函式(如平均求和,最大值,最小值等)計算出來,而所有的計算過程由時序資料庫“包辦”,應用可以直接獲取計算結果。

聚合計算

如果管理員要檢視某個具體樓層的用電量的時候,那麼只需把樓層資訊請求到TSDB,就可以實時獲取所需樓層所有燈的用電量。 那麼如果管理員檢視飛利浦品牌的耗電量的時候,只需傳遞品牌值到TSDB即可,按照園區名稱也可以統計。所以時序聚合提供了強大非常靈活的能力,完全可以隨機定義查詢聚合的緯度,實時的獲取不同分析緯度的查詢結果。而不要使用者主動建立任何索引資訊。

時空分析

隨著車聯網以及智慧交通和新零售配送相關行業發展,地理位置資訊型別的資料儲存和分析場景也日漸顯現,技術領域稱為“時空分析”。

車聯網的管理人員需要清楚的知道在當天有多少車輛在運營區域內行使,有多少車輛駛出了運營區域,每個車輛的行使軌跡是怎樣的,進行全域性的車輛管理。政府的管理人員需要清楚當天城區內人員流動的熱力分佈趨勢,以提升城市管理的效率。新零售的配送管理員需要知道配送員是否按照規定在區域內配送,配送員的配送軌跡如何,以便於做管理和配送路徑的優化。這些都依賴時空分析能力。

TSDB 即將釋出時空分析功能,提供地理位置資訊型別資料的儲存和分析。滿足軌跡追蹤,空間位置統計分析的業務需求。

時序洞察

資料視覺化是呈現資料分析結果的重要一環,TSDB 提供了基礎的視覺化功能時序洞察,可以實時的提供給使用者互動式的資料分析過程。使用者無需開發任何的程式碼,就可以完成資料查詢和分析,同時直觀的看到資料的趨勢效果。

快速體驗阿里雲TSDB

TSDB 新發布的時序洞察,能夠通過demo 資料的匯入,只需三個步驟,就可以快速體驗互動式的時序資料分析能力: