Cat學習篇 | CAT跨語言服務鏈監控（一） CAT簡介與部署

阿新 • • 發佈：2019-01-14

（一） CAT簡介與部署
介紹
背景介紹
Cat系統的特性
訊息樹
CAT部署

（二） CAT服務端初始化
Cat模組
Cat-servlet初始化
plexus - IOC容器
模組的載入 - 模型模式
cat-home的setup
TcpSocketReceiver--- netty reactor 模式的應用
訊息的解碼

（三） CAT客戶端原理
cat客戶端部分核心類
訊息的組織 - 訊息樹
客戶端的初始化
訊息生產 -- 入棧
Context 執行緒本地變數
Transaction事務的開啟
其他型別訊息組合
訊息的完成-出棧
訊息的傳送-佇列化
訊息的序列化
MessageId的設計

（四）服務端訊息分發
分發架構
分析管理器的初始化
消費者與週期管理器的初始化
什麼是週期？
週期任務-任務佇列
訊息分發
週期策略

（五）配置與資料庫操作
CAT配置
程式碼自動生成
資料庫操作
資料庫連線管理

（六）訊息分析器與報表(一)
訊息分析器的構建
TopAnalyzer
EventAnalyzer - 事件發生次數分析
MetricAnalyzer - 業務分析
ProblemAnalyzer -異常分析
TransactionAnalyzer - 事務分析

（七）訊息分析器與報表(二)
CrossAnalyzer-呼叫鏈分析
StorageAnalyzer --資料庫/快取分析
StateAnalyzer
HeartbeatAnalyzer
DumpAnalyzer -- 原始訊息LogView儲存
自定義分析器與報表

（八）報表持久化
週期結束
分析器的結束 -- 報表持久化
報表預處理
報表的檔案儲存 -- 重入鎖
報表的資料庫儲存
定時任務

（九）管理平臺MVC框架
Servlet容器與請求生命週期
頁面路由初始化
請求處理流程

（十）與JAVA框架的整合
與Spring MVC整合
與Spring Boot 整合
與Spring Cloud 整合
與dubbo整合
與MyBatis整合
與Log4j整合

（十一）其他語言支援
PHP語言
C++語言
LUA語言
Go語言
Node.js語言
Android埋點
Object C -- IOS 埋點

（十二）報警與監控提醒

簡訊通知

郵件通知

（十三） CAT與實時計算
hadoop模組

spark實時計算模組

介紹：

大眾點評CAT系統原型和理念來源於eBay的CAL的系統，CAT系統第一代設計者吳其敏在eBay工作長達十幾年，對CAL系統有深刻的理解。CAT不僅增強了CAL系統核心模型，還添加了更豐富的報表。自2014年開源以來，CAT在攜程、陸金所、獵聘網、找鋼網等多家網際網路公司生產環境應用。

CAT是一個實時和接近全量的監控系統，它側重於對Java應用的監控，除了與點評RPC元件融合的很好之外，他將會能與Spring、MyBatis、Dubbo 等框架以及Log4j 等結合，不久將會支援PHP、C++、Go等多語言應用，基本接入了美團點評上海側所有核心應用。目前在中介軟體（MVC、RPC、資料庫、快取等）框架中得到廣泛應用，為美團點評各業務線提供系統的效能指標、健康狀況、監控告警等，在微服務監控領域也是非常有用的一套元件。

本文會對CAT整體設計、客戶端、服務端等的一些設計思路做詳細深入的介紹。

在詳細瞭解CAT的整體設計細節之後，我們可以在CAT基礎之上輕鬆擴充套件我們自己的監控和資料收集模組。

背景介紹

CAT整個產品研發是從2011年底開始的，當時正是大眾點評App Net遷移Java的核心起步階段。當初大眾點評App已經有核心的基礎中介軟體、RPC元件Pigeon、統一配置元件lion。整體Java遷移已經在服務化的路上。隨著服務化的深入，整體Java在線上部署規模逐漸變多，同時，暴露的問題也越來越多。典型的問題有：

大量報錯，特別是核心服務，需要花很久時間才能定位。
異常日誌都需要線上許可權登陸線上機器排查，排錯時間長。
有些簡單的錯誤定位都非常困難（一次將線上的庫配置到了Beta，花了整個通宵排錯）。
很多不了了之的問題懷疑是網路問題（從現在看，內網真的很少出問題）。

雖然那時候也有一些簡單的監控工具（比如Zabbix，自己研發的Hawk系統等），可能單個工具在某方面的功能還不錯，但整體服務化水平參差不齊、擴充套件能力相對較弱，監控工具間不能互通互聯，使得查詢問題根源基本都需要在多個系統之間切換，有時候真的是靠“人品”才能找出根源。適逢吳其敏從eBay加入大眾點評成為首席架構師，eBay的CAL系統在內部非常成功，就在這樣天時地利與人和的情況下，我們開始研發了大眾點評App第一代監控系統——CAT。

Cat系統的特性

實時處理：資訊的價值會隨時間銳減，尤其是事故處理過程中。
全量資料：最開始的設計目標就是全量採集，全量的好處有很多。
高可用：所有應用都倒下了，需要監控還站著，並告訴工程師發生了什麼，做到故障還原和問題定位。
故障容忍：CAT本身故障不應該影響業務正常運轉，CAT掛了，應用不該受影響，只是監控能力暫時減弱。
高吞吐：要想還原真相，需要全方位地監控和度量，必須要有超強的處理吞吐能力。
可擴充套件：支援分散式、跨IDC部署，橫向擴充套件的監控系統。

不保證可靠：允許訊息丟失，這是一個很重要的trade-off，目前CAT服務端可以做到4個9的可靠性，可靠系統和不可靠性系統的設計差別非常大。

目前現狀：
15臺CAT物理監控叢集
單臺機器15w qps
2000+ 業務應用（包括部分.net以及Job）

7000+ 應用伺服器

50TB 訊息，~450億訊息（每天）

CAT支援的監控訊息型別包括：

Transaction 適合記錄跨越系統邊界的程式訪問行為,比如遠端呼叫，資料庫呼叫，也適合執行時間較長的業務邏輯監控，Transaction用來記錄一段程式碼的執行時間和次數。
Event 用來記錄一件事發生的次數，比如記錄系統異常，它和transaction相比缺少了時間的統計，開銷比transaction要小。
Heartbeat 表示程式內定期產生的統計資訊, 如CPU%, MEM%, 連線池狀態, 系統負載等。
Metric 用於記錄業務指標、指標可能包含對一個指標記錄次數、記錄平均值、記錄總和，業務指標最低統計粒度為1分鐘。
Trace 用於記錄基本的trace資訊，類似於log4j的info資訊，這些資訊僅用於檢視一些相關資訊

訊息樹

CAT監控系統將每次URL、Service的請求內部執行情況都封裝為一個完整的訊息樹、訊息樹可能包括Transaction、Event、Heartbeat、Metric和Trace資訊。

完整的訊息樹

視覺化訊息樹

分散式訊息樹【一臺機器呼叫另外一臺機器】

CAT部署

所需環境

Linux 2.6以及之上（2.6核心才可以支援epoll），Mac以及Windows環境可以作為開發環境
Java 6，7，8
Maven 3.2.3+
MySQL 5.6

我司的環境配置如下

Distributor ID: CentOS
Description: CentOS release 6.5 (Final)
Release: 6.5
Codename: Final
Server version: Apache Tomcat/8.0.30
Server built: Dec 1 2015 22:30:46 UTC
Server number: 8.0.30.0
OS Name: Linux
OS Version: 2.6.32-431.el6.x86_64
Architecture: amd64
JVM Version: 1.8.0_111-b14
JVM Vendor: Oracle Corporation
Maven 3.3.3
Mysql 5.6
tomcat 7.0.70 建議使用此版本，修改中文亂碼 tomcat conf 目錄下 server.xml
<Connector port="8080" protocol="HTTP/1.1"
URIEncoding="utf-8" connectionTimeout="20000"
redirectPort="8443" /> 增加 URIEncoding="utf-8"

1、將分支mvn-repo下的jar包複製到本機maven倉庫，cat一些依賴的jar存放於mvn-repo分支

1、git clone https://github.com/dianping/cat.git
2、cd cat
3、git checkout mvn-repo
4、cp -R * ~/.m2/repository
5、git checkout master
6、mvn clean install -DskipTests

如果下載有問題，可以嘗試翻牆後下載

2、在CAT目錄下，用maven構建專案

mvn clean install -DskipTests

3、配置CAT的執行需要配置資訊

mvn cat:install

Note：

Linux\Mac 需要對/data/appdatas/cat和/data/applogs/cat有讀寫許可權
Windows 則是對系統執行盤下的/data/appdatas/cat和/data/applogs/cat有讀寫許可權,如果cat服務執行在e盤的tomcat中，則需要對e:/data/appdatas/cat和e:/data/applogs/cat有讀寫許可權

  此步驟是自動配置一些cat啟動需要的基本資料庫配置以及配置檔案，如果發現此步驟有問題，可以直接使用第五步，手工方式安裝。

4、(Optional)如果安裝了hadoop叢集，需到/data/appdatas/cat/server.xml中配置對應hadoop資訊。將localmode設定為false，預設情況下，CAT在開發模式（localmode=true）下工作。推薦大部分公司使用單機模式，不需要搭建hdfs，部署cat的服務端使用一個大磁碟的機器，比如1TB，這樣可以省去很多事情。

================如果上述自動化程式出現問題，可以使用如下部署進行嘗試，這步驟其實就是上述自動化程式做的事情==========================

5、啟動的cat單機版本基本步驟

檢查下/data/appdatas/cat/ 下面需要的需要的配置檔案，配置檔案在原始碼script，請修改對應的datasources.xml 以及 client.xml 裡面對應的IP、PSW部分。注意cat服務端的資料上報埠是2280，cat的http埠預設是tomcat的埠8080。
修改server.xml 部分，注意修改server.xml 裡面的remote-servers的埠設定，如果是tomcat，一般是8080。
建立一個mysql的資料庫，資料庫的安裝檔案在script檔案下的Cat.sql，可以匯入到資料庫中。
在cat目錄下執行 mvn install -DskipTests
cat-home打包出來的war包，重新命名為cat.war, 並放入tomcat的webapps
啟動tomcat

6、匯入eclipse發現找不到類

請先執行mvn eclipse:eclipse 會自動生成相關的類檔案
作為普通專案匯入eclipse，不要用作為maven專案匯入eclipse

Cat學習篇 | CAT跨語言服務鏈監控（一） CAT簡介與部署

介紹：