SLS機器學習介紹（02）：時序聚類建模

科技 · 發表 2018-11-05 16:38:06

摘要：原標題：SLS機器學習介紹（02）：時序聚類建模摘要：在大型網際網路企業中，對海量KPI（關鍵效能指標）進行監控和異常檢測是確保服務質量和可靠性的重要手段。基於網際網路的服務型企業（如線上購物、社交網路、搜尋引擎等）通過監控各種系統及應用的數以萬計的KPI（如CPU利用率、每秒請求量等）來確保服...

摘要： 在大型網際網路企業中，對海量KPI（關鍵效能指標）進行監控和異常檢測是確保服務質量和可靠性的重要手段。基於網際網路的服務型企業（如線上購物、社交網路、搜尋引擎等）通過監控各種系統及應用的數以萬計的KPI（如CPU利用率、每秒請求量等）來確保服務可靠性。

前言

第一篇文章SLS機器學習介紹（01）：時序統計建模上週更新完，一下子炸出了很多潛伏的業內高手，忽的發現集團內部各個業務線都針對時序分析存在一定的需求。大傢俬信問我業務線上的具體方法，在此針對遇到的通用問題予以陳述（權且拋磚引玉，希望各位大牛提供更好的建議和方法）：

資料的高頻抖動如何處理？
在業務需求能滿足的條件下，進可能的對資料做聚合操作，用視窗策略消除抖動
若不能粗粒度的聚合，我一般會選擇視窗濾波操作，在針對濾波後的資料進行一次去異常點操作
改變檢測策略，將問題變成一個迴歸問題，引入多維度特徵，對目標進行預測
歷史訓練資料如何選擇？
針對自己的時序資料，需要先進行簡單的摸底操作，選擇合適的模型，是不是有明顯的週期？是不是有明顯的趨勢？
這麼多方法該如何選擇？
針對單指標預測的方法，需要採用多種演算法模型進行預測，將得到的結果也要整合起來，降低誤報操作
可以針對歷史上的全量報警樣本，設計一套報警聚合規則，在一定容忍度的條件下得到較好的結果

摘要

在大型網際網路企業中，對海量KPI（關鍵效能指標）進行監控和異常檢測是確保服務質量和可靠性的重要手段。基於網際網路的服務型企業（如線上購物、社交網路、搜尋引擎等）通過監控各種系統及應用的數以萬計的KPI（如CPU利用率、每秒請求量等）來確保服務可靠性。KPI上的異常通常反映了其相關應用上可能出現故障，如伺服器故障、網路負載過高、外部攻擊等。因而，異常檢測技術被廣泛用於及時檢測異常事件以達到快速止損的目的。

問題背景

大多數異常檢測演算法（如雅虎的EDAGS，Twitter的BreakoutDetection，FaceBook的prophet）都需要為每條KPI單獨建立異常檢測模型，在面對海量KPI時，會產生極大的模型選擇、引數調優、模型訓練及異常標註開銷。幸運的是，由於許多KPI之間存在隱含的關聯性，它們是較為相似的。如果我們能夠找到這些相似的KPI（例如在一個負載均衡的伺服器叢集中每個伺服器上的每秒請求量KPI是相似的），將它們劃分為若干聚類簇，則可以在每個聚類簇中應用相同的異常檢測模型，從而大大降低各項開銷。

序列聚類建模

問題定義

在同一個業務指標的前提下：

查找出當前時序序列中有哪些相似的曲線形態？（單條曲線的多形態分解）
多條KPI指標曲線有哪些曲線的形態類似？（N條曲線形態聚類）

相似性度量

本文主要從時間對齊的多條時序KPI中進行相似性度量，時間點上的指標的相似性和時序曲線形態的相似性

時間點聚類（時間上的相似性）

1.1 閔可夫斯基距離：衡量數值點之間距離的一種常見的方法，假設P=(x1,x2,...,xn)和Q=(y1,y2,...,yn)，則具體的公式如下：

當p=1時，表示曼哈頓距離；p=2時，表示歐幾里得距離；當p趨近於無窮大時，該距離轉換為切比雪夫距離，具體如下式所式：

閔可夫斯基距離比較直觀，但是它與資料的分佈無關，具有一定的侷限性，如果x方向的幅值遠遠大於y方向的幅值，這個距離公式就會過度方法x維度的作用。因此在加算前，需要對資料進行變換（去均值，除以標準差）。這種方法在假設資料各個維度不相關的情況下，利用資料分佈的特性計算出不同的距離。如果資料維度之間資料相關，這時該類距離就不合適了！

1.2 馬氏距離：若不同維度之間存在相關性和尺度變換等關係，需要使用一種變化規則，將當前空間中的向量變換到另一個可以簡單度量的空間中去測量。假設樣本之間的協方差矩陣是Σ，利用矩陣分解（LU分解）可以轉換為下三角矩陣和上三角矩陣的乘積：Σ=LLT。消除不同維度之間的相關性和尺度變換，需要對樣本x做如下處理：z=L−1(x−μ)，經過處理的向量就可以利用歐式距離進行度量。

2.形狀之間的相似性（空間上的結構相似性）

2.1 編輯距離

如何去比較兩個不同長度的字串的相似性？給定兩個字串，由一個轉成另一個所需要的最小編輯操作，其中需要有三個操作，相同位置字元的替換、對字串中某個位置進行插入與刪除。具體的遞迴表示式如下：

2.2 DTW（Dynamic Time Warpping）距離

動態時間規整（Dynamic Time Warping；DTW）是一種將時間規整和距離測度相結合的一種非線性規整技術。主要思想是把未知量均勻地伸長或者縮短，直到與參考模式的長度一致，在這一過程中，未知量的時間軸要不均勻地扭曲或彎折，以使其特徵與參考模式特徵對正。

DTW（Dynamic Time Warping）距離的計算過程如下：

假設，兩個時間序列Q和C，Q={q1,q2,…,qn}，C={c1,c2,…,cm}。構造一個(n, m)的矩陣，第(i, j)單元記錄兩個點(qi,cj)之間的歐氏距離，d(qi,cj)=|qi−cj|。一條彎折的路徑W，由若干個彼此相連的矩陣單元構成，這條路徑描述了Q和C之間的一種對映。設第k個單元定義為wk=(i,j)k，則w={w1,w2,w3,...,wK},max(n,m)<=K<=n+m−1。

這條彎折的路徑滿足如下的條件：

在滿足上述條件的多條路徑中，最短的，花費最少的一條路徑是:

DTW距離的計算過程是一個DP過程，先用歐式距離初始化矩陣，然後使用如下遞推公式進行求解：

演算法步驟

1. 資料預處理

資料來源：叢集中所有叢集的多指標度量值（秒級資料）
SYS：系統執行情況記錄（啟動時間，負載情況、程序資訊等）
NET：網路裝置狀態傳輸情況（TCP、UDP等上行和下行流量等）
MEMORY：記憶體使用情況（使用率、交換分割槽使用情況等）
CPU/GPU：使用情況
DISK：磁碟IO情況
基本的預處理
確定下單條資料的資訊（檢視某機器某指標的情況）
* and metric_name : machine_022_cpu | select stamp, metric_val order by stamp limit 2000
若時序資料含有缺失值，需要將將序列進行補點操作（如果序列缺失小於10%，則模型內部會將缺失資料自動按照鄰近值補齊）
該資料是按照15秒一個點進行取樣的，如果需要進行更粗粒度的操作，需要額外處理

2. 時序資料的降維取樣

叢集中有相同屬性的機器大約為5K臺，那麼我們就會有經過處理的5K條NET:Tcp的曲線，現在需要對該集合進行聚類，找到其中相似形態的曲線，並發現形態不一致的曲線形態。

分段線性表示方法
分段線性表示是一種使用線性模型來對時間序列進行分割的方法，根據不同的分割方法可以使用不同的分割策略來實現，如滑動視窗、自底向上和自頂向下。利用滑動視窗和自底向上方法的時間複雜度為序列長度的平方階，而自頂向下的時間複雜度為線性階。滑動視窗在一些情況下對時間序列的擬合效果較差，不能很好地反映原時間序列的變化資訊。
分段聚合近似（Piecewise Aggregation Approximation，PAA）表示方法
通過對時間序列進行平均分割並利用分段序列的均值來表示原時間序列的方法。
符號化表示方法
符號化表示方法是一種將時間序列轉換為字串序列的過程。在時間序列資料探勘過程中，傳統方法主要依賴於定量資料，遠遠不能滿足資料探勘領域中分析和解決問題的要求。在資料結構和演算法設計中，字串具有特定的資料儲存結構以及較為成熟且高效的操作演算法。

本實驗中將時序序列將高維度資料降低到長度為300的PAA策略。

3. DBSCAN聚類演算法

DBSCAN（Density-BasedSpatial Clustering of Applications with Noise），一種基於密度的聚類方法，即找到被低密度區域分離的稠密區域，要求聚類空間中的一定區域內所包含物件（點或其他空間物件）的數目不小於某一給定閾值。

其中幾個關鍵術語：
密度：空間中任意一點的密度是以該點為圓心，以Eps為半徑的圓區域內包含的點數目
邊界點：空間中某一點的密度，如果小於某一點給定的閾值minPts，則稱為邊界點
噪聲點：不屬於核心點，也不屬於邊界點的點，也就是密度為1的點

上圖是一般DBSCAN的聚類過程，其中有兩個地方可以進行較好的優化：

兩個引數
最近兩個聚類中心的距離引數（Eps）
最小聚類中心的例項的個數（MinPts）
查詢一個向量在給定引數情況下的近鄰集合

3.1 KD Tree構造

KD(K-Dimensional) Tree，是一種分割K維度資料空間的資料結構。主要應用與多維空間關鍵資料的搜尋（如：範圍搜尋和近鄰搜尋）。

上述演算法模型中，最大的問題在於軸點的選擇，選擇好軸點之後，就可以遞迴去建立這顆樹了。

建樹必須遵循的兩個準則：
建立的樹應當儘量平衡，樹越平衡代表著分割得越平均，搜尋的時間也就是越少；
最大化鄰域搜尋的剪枝操作；
選擇軸點的策略
對於所有描述子資料（特徵向量），統計在每個維度上的資料方差，挑選出方差中最大值，對應的維度就是分割域的值。資料方差大說明沿著該座標軸方向上資料點分散的比較開。這個方向上，進行資料分割可以獲得最好的平衡。資料點集按照當前選擇的維度的值排序，位於正中間的那個資料點，就被選為軸點。
實際中會出現問題：理論上空間均勻分佈的點，在一個方向上分割，通過計算方差，下一次分割就不會出現在這個方向上，但實際資料往往會不均勻，這樣就會出現很多長條的分割，會導致效率降低。
為了避免這種情況，候選維度的選擇依據是資料範圍最大的那一個維度作為分割維度，之後就選擇這個維度的中間節點作為軸點，進行分割，分割出來的結果會稍微好一些。
實際中也可以通過限制樹的高度的時候。

鄰近搜尋策略
給定一個KD Tree和一個節點，求KD Tree中離這個節點最近的節點，可以選定一個距離度量的方式。
搜尋的基本思路：首先通過二叉樹搜尋（比較待查詢節點和分裂節點的分裂維度的值，小於等於就進入左側分支，大於就進入右側分支），順著搜尋路徑很快能找到最近鄰的近似點，也就是與待查詢點處於同一個子空間的葉子節點；然後在回溯搜尋路徑，並判斷搜素路徑上的其它近鄰節點是否有可能距離查詢點更近的資料點，直到搜尋路徑上的候選節點為空時停止。

3.2 引數自動化估計