呼叫鏈與日誌的關聯式跟蹤查詢

中介軟體 Tomcat 分散式系統 · 發表 2018-10-17 17:20:52

摘要：長假過完，相信無緣支付寶中國錦鯉的你一定已經回來工作了。雖然輕輕鬆鬆與全球免單大禮包失之交臂，但不要喪氣，小編悄悄為你準備了一份祕籍，助你在2018年最後不到三個月的時間裡成功逆襲，斬獲年終獎的大錦鯉！本月小編將帶大家一起了解UAVStack的呼叫鏈技術，講述呼叫鏈技術的源起、實現、應用以及...

長假過完，相信無緣支付寶中國錦鯉的你一定已經回來工作了。雖然輕輕鬆鬆與全球免單大禮包失之交臂，但不要喪氣，小編悄悄為你準備了一份祕籍，助你在2018年最後不到三個月的時間裡成功逆襲，斬獲年終獎的大錦鯉！本月小編將帶大家一起了解UAVStack的呼叫鏈技術，講述呼叫鏈技術的源起、實現、應用以及關鍵技術。好好研習本月的每篇推送，說不定年終獎的錦鯉就是你哦~~~趕快進入正文吧

近年來，Observability一詞開始在監控社群流行。筆者將Observability視為一種理念，一種監控的超集，涵蓋監控、日誌聚合和分散式跟蹤，能夠更加深入地實時觀察系統。本文將就日誌聚合、分散式跟蹤及二者的關聯運用展開說明。

呼叫鏈與日誌聚合的關聯

微服務、雲和容器化架構的出現，改變了我們構建系統的方式。應用程式是分散式的，而且瞬息萬變；底層基礎設施和網路服務愈加健壯。日常系統運維的大部分工作將集中於應用程式層或不同應用程式之間的複雜互動呼叫。

對於複雜的跨系統呼叫，一次請求可能需要後臺幾臺或上百臺節點的支援。此時，單純依靠人力已經很難追蹤到一次請求的完整呼叫流程，而最能反映每次請求處理過程的應該是分散式追蹤呼叫鏈（下文簡稱“呼叫鏈”）。

呼叫鏈著眼於一次請求的完整呼叫流程，當細粒到具體節點時，應用系統自身列印的日誌最能說明當前節點的處理邏輯。

下圖呈現了呼叫鏈和日誌聚合的關聯方式：

呼叫鏈的作用是記錄並彙總展示一次請求所經過的所有節點和關鍵操作，如圖中綠色箭頭，從全域性的層面展示一次請求的完整呼叫流程。

日誌聚合的作用是彙總整理所有節點和系統產生的日誌，併為使用者提供友好有效的查詢能力。

傳統的處理方式往往需要在呼叫鏈和日誌聚合之間反覆切換，即在呼叫鏈上發現問題後，需要切換到日誌聚合，根據特定屬性查詢對應的日誌資訊，排查日誌資訊後再次返回呼叫鏈，查詢與日誌資訊關聯的呼叫鏈資訊……如此往返多次。

對於這種經典場景，日誌與呼叫鏈的關聯式跟蹤查詢提供了一種全新的閉環處理模式：

由上圖可以看出，從呼叫鏈入口進入，可以根據呼叫鏈關聯到與當前呼叫鏈相關的日誌，根據日誌又可以關聯到與當前日誌相關的呼叫鏈；從日誌入口進入，可以根據日誌關聯到與當前日誌相關的呼叫鏈，根據呼叫鏈又可以關聯到與當前呼叫鏈相關的日誌。兩種模式可以相互切換。

舉個栗子

通過日誌聚合搜尋，使用者小明發現A系統的一段日誌存在異常。此時，小明可以通過此條日誌關聯找出對應的呼叫過程a。通過觀察呼叫鏈a，小明發現，異常是由呼叫鏈a上的節點a[2]超時導致。現在小明可以從呼叫鏈關聯到與節點a[2]相關的日誌內容，從而確定問題（詳見下文“效果展示”）。

整體架構設計

1.資料抓取：

在應用叢集中的機器上部署代理程式（Agent），用於資料收集和上送；將探針內嵌在容器（Tomcat等）中，用於應用畫像和應用資訊收集。

2.資料傳輸：

Agent通過MQ將處理過的日誌上送到監控伺服器。

3.資料處理與儲存：

監控伺服器對採集的資料進行處理，並將其存入ES，方便使用者通過特定特徵快速定位。

4.資料展示：

將資料進行視覺化展示，並提供方便的視覺化自定義查詢服務。

具體實現

在介紹呼叫鏈和日誌聚合的具體實現之前需要先明確幾個概念：

1. 中介軟體劫持技術：

在中介軟體啟動時動態地將自己的程式碼行為植入中介軟體的各種行為中的技術。例如，在Tomcat啟動時，在Tomcat處理請求的開始位置動態地新增程式碼劫持，從而在Tomcat執行處理請求邏輯之前實現服務呼叫畫像等功能。更多能力及實現方式請參考 ofollow,noindex">JAVA服務治理實踐之無侵入的應用服務監控。