1. 程式人生 > >阿裏雲發布時間序列數據庫TSDB,關於時序你了解多少?

阿裏雲發布時間序列數據庫TSDB,關於時序你了解多少?

記錄 自己 使用場景 函數 數據集 cad 體驗 當前 存在

摘要: 阿裏雲發布時間序列數據庫TSDB,專家幫你解答時序那些事。

概要介紹
時間序列數據是一種表示物理設備,系統、應用過程或行為隨時間變化的數據,廣泛應用於物聯網,工業物聯網,基礎運維系統等場景。阿裏雲TSDB 時間序列數據庫可以解決大規模時序數據的可靠寫入,降低數據存儲成本,實時靈活的完成業務數據聚合分析。

什麽是時序數據
我們來看感受一下平時自己特別熟悉的場景,就會發現時序和每個人都存在非常緊密的關系:
電商系統獲取每筆訂單交易金額和支付金額數據以及商品庫存和物流數據;
智能電表,會實時記錄每個小時的用電量數據,比給出賬單數據;
高山上的風車的獲取實時轉速,風速數據,發電量數據。
應用服務調用量有沒有異常,服務器的負載和資源使用率如何?

技術分享圖片

這些應用程序均依賴一種衡量事物隨時間的變化的數據形式,每一個數據源定期發送新的讀數,創建一系列隨時間推移收集到的測量結果,這就是時序數據,時序數據數據集主要有以下三個特點:

新入庫數據幾乎總是作為新條目被記錄
數據通常按照產生時間順序入庫
所有的數據都自帶時間戳,
因此,我們這樣定義時間序列數據:統一表示系統、過程或行為隨時間變化的數據

時序數據的價值
相較域非時序數據,核心區別在於時序數據能夠反映“變化”本身。當你為某個物聯網設備收集新數據時,是覆蓋以往的讀數,還是在新的一行創建全新的讀數?盡管這兩種方法都能為你提供系統的當前狀態,但只有第二種方法才能跟蹤系統的所有狀態。
所以時序數據的價值在於將系統的每個變化都記錄為新的一行,從而可以去衡量變化,分析過去的變化,監測現在的變化,以及預測未來將如何變化。

時序數據庫TSDB 的價值
為什麽不能用常規數據庫來管理時序數據呢,為什麽需要時序數據庫呢?事實上答案是你可以使用非時間序列數據庫,如同你可以為航天飛行器配備一個普通的汽車發動機,雖然也可以飛起來,但是終究不能實現航天飛行的“夢想”。
而更多業務場景選擇擇時序數據庫而非通用數據庫技術也是類似的原因歸結起來就是兩個核心點:規模和可用性。
(1)規模:時間序列數據累計速度非常快。例如,一輛聯網汽車每小時產生幾百GB 的數據。關系型數據庫處理大數據集的效果非常糟糕;NoSQ數據庫可以很好地處理規模數據,但是仍然比不上一個針對時間序列數據微調過的數據庫。相比之下,時間序列數據庫將時間作為最高優先級來處理,通過提高區間數據實時查詢效率來處理這種大規模數據,並帶來性能的提升,包括:每秒寫入速度,能夠支撐的設備指標量,讀取數據效率和非常高的存儲壓縮比。而時間序列數據在技術領域的關註度也日益提升。

數據來源:DBengine 2018.9月報告

技術分享圖片

(2)可用性:TSDB通常還包括一些共通的對時間序列數據分析的功能和操作:數據保留策略、連續查詢、靈活的時間聚合等。以及很好的擴展性。比如常見的時序降精度和聚合計算,而非時序數據庫都不具備這個能力。這就是為什麽企業開發人員越來越多地采用時間序列數據庫,並將它們用於各種使用場景。

使用阿裏雲TSDB 的理由
阿裏巴巴業務覆蓋面廣,諸如 電商交易跟蹤, 容器指標監控, 服務監控,物流配送跟蹤,智慧園區的智能設備監控等對時序數據庫存在強烈的需求,選擇阿裏雲 TSDB 是因為具備如下的優勢:
高性能
TSDB具有高效的吞吐能力,實際壓測對比,TSDB 的讀取效率比開源的OpenTSDB 和InfluxDB 讀取效率要高出一個數量級,實際業務上過用TSDB 來代替傳統的基於Hbase的方案,整體機器成本縮減了50%以上。
數據存儲成本更低
時序數據都是持續寫入的,任何一個數據的變化都會記錄到時序數據庫,所以相比較OLTP類的數據庫,對於數據庫的容量要求是PB級別。TSDB 可以做到最高10:1的無損壓縮效率。大大降低了業務的存儲成本。
分析能力強
時序最核心的能力在於數據分析能力,TSDB 提供專業全面的時序數據計算函數,支持降采樣、數據插值和空間聚合計算,能滿足各種復雜的業務數據查詢場景。百萬級別數據點聚合分析秒級完成。
功能完備
時序數據庫支持豐富的計算能力,如降精度和聚合計算。
降精度
我們看一個降精度例子, 園區管理員要把園區所有的照明燈的用電量數據采集起來,進行統一的監控分析,達到節能管控的目的。如果管理員要查看最近24小時耗電量的時候,那麽可以直接從TSDB裏獲取原始數據查看用電量趨勢。 而管理員要查看最近3年的用電量趨勢的時候,管理員可以隨機按照“天”,“周”,“月”這些比較粗粒度的時間精度來進行數據計算,所有降精度的數據通過原始小時數據按照時序提供的函數(如平均求和,最大值,最小值等)計算出來,而所有的計算過程由時序數據庫“包辦”,應用可以直接獲取計算結果。
聚合計算
如果管理員要查看某個具體樓層的用電量的時候,那麽只需把樓層信息請求到TSDB,就可以實時獲取所需樓層所有燈的用電量。 那麽如果管理員查看飛利浦品牌的耗電量的時候,只需傳遞品牌值到TSDB即可,按照園區名稱也可以統計。所以時序聚合提供了強大非常靈活的能力,完全可以隨機定義查詢聚合的緯度,實時的獲取不同分析緯度的查詢結果。而不要用戶主動創建任何索引信息。

時空分析
隨著車聯網以及智能交通和新零售配送相關行業發展,地理位置信息類型的數據存儲和分析場景也日漸顯現,技術領域稱為“時空分析”。
車聯網的管理人員需要清楚的知道在當天有多少車輛在運營區域內行使,有多少車輛駛出了運營區域,每個車輛的行使軌跡是怎樣的,進行全局的車輛管理。政府的管理人員需要清楚當天城區內人員流動的熱力分布趨勢,以提升城市管理的效率。新零售的配送管理員需要知道配送員是否按照規定在區域內配送,配送員的配送軌跡如何,以便於做管理和配送路徑的優化。這些都依賴時空分析能力。
技術分享圖片

TSDB 即將發布時空分析功能,提供地理位置信息類型數據的存儲和分析。滿足軌跡追蹤,空間位置統計分析的業務需求。

時序洞察
數據可視化是呈現數據分析結果的重要一環,TSDB 提供了基礎的可視化功能時序洞察,可以實時的提供給用戶交互式的數據分析過程。用戶無需開發任何的代碼,就可以完成數據查詢和分析,同時直觀的看到數據的趨勢效果。
技術分享圖片

快速體驗阿裏雲TSDB
TSDB 新發布的時序洞察,能夠通過demo 數據的導入,只需三個步驟,就可以快速體驗交互式的時序數據分析能力:
第一步,創建TSDB 實例
第二步,進行demo數據導入
第三步,創建時序洞察, 進行數據分析

原文鏈接

本文為雲棲社區原創內容,未經允許不得轉載。

阿裏雲發布時間序列數據庫TSDB,關於時序你了解多少?