1. 程式人生 > >深入詳解美團點評CAT跨語言服務監控(一) CAT簡介與部署

深入詳解美團點評CAT跨語言服務監控(一) CAT簡介與部署

原文連結: https://blog.csdn.net/caohao0591/article/details/80693289

前言: CAT是一個實時和接近全量的監控系統,它側重於對Java應用的監控,除了與點評RPC元件融合的很好之外,他將會能與Spring、MyBatis、Dubbo 等框架以及Log4j 等結合,支援PHP、C++、Go等多語言應用,基本接入了美團點評上海側所有核心應用。目前在中介軟體(MVC、RPC、資料庫、快取等)框架中得到廣泛應用,為美團點評各業務線提供系統的效能指標、健康狀況、監控告警等,在微服務監控領域也是非常有用的一套元件。支撐這美團每天450億的訊息,50TB的資料監控,應用於 7000+應用伺服器,2000+的業務,單臺機器能15W qps,15臺CAT物理叢集,有著極高的效能,同時CAT支援豐富的報表,架構擁有靈活的擴充套件性,使用者可以定製自己的監控、報表需求,本文將就CAT的部署、架構原始碼以及多語言支援等方面展開剖析。CAT在攜程、陸金所、獵聘網、找鋼網、平安銀行等多家網際網路公司生產環境應用。

目錄:

(一) CAT簡介與部署

    介紹
    背景介紹
    Cat系統的特性
    訊息樹
    CAT服務端部署
    CAT客戶端Demo

(二) CAT服務端初始化
    Cat模組
    Cat-servlet初始化
    plexus - IOC容器
    模組的載入 - 模型模式
    cat-home的setup
    TcpSocketReceiver--- netty reactor 模式的應用
    訊息的解碼
    
(三) CAT客戶端原理
    cat客戶端部分核心類
    訊息的組織 - 訊息樹
    客戶端的初始化
    訊息生產 -- 入棧
    Context 執行緒本地變數
    Transaction事務的開啟
    其他型別訊息組合
    訊息的完成-出棧
    訊息的傳送-佇列化
    訊息的序列化
    MessageId的設計
    
(四) 服務端訊息分發
    分發架構
    分析管理器的初始化
    消費者與週期管理器的初始化
    什麼是週期?
    週期任務-任務佇列
    訊息分發
    週期策略
    
(五) 配置與資料庫操作
    CAT配置
    程式碼自動生成
    資料庫操作
    資料庫連線管理
    
(六) 訊息分析器與報表(一)
    訊息分析器的構建
    TopAnalyzer
    EventAnalyzer - 事件發生次數分析
    MetricAnalyzer - 業務分析
    ProblemAnalyzer -異常分析
    TransactionAnalyzer - 事務分析
    
(七)訊息分析器與報表(二)
    CrossAnalyzer-呼叫鏈分析
    StorageAnalyzer  --資料庫/快取分析
    StateAnalyzer -- CAT狀態分析
    HeartbeatAnalyzer  -- 心跳分析
    DumpAnalyzer -- 原始訊息LogView儲存
    自定義分析器與報表
    
(八) 報表持久化
    週期結束
    分析器的結束 -- 報表持久化
    報表預處理
    報表的檔案儲存 -- 重入鎖
    報表的資料庫儲存
    定時任務
    
(九) 管理平臺MVC框架
    Servlet容器與請求生命週期
    頁面路由初始化
    請求處理流程
    
(十)與JAVA框架的整合
    與Spring MVC整合
    與Spring Boot 整合
    與Spring Cloud 整合
    與dubbo整合
    與MyBatis整合
    與Log4j整合
    
(十一) 其他語言支援
    PHP語言
    C++語言
    LUA語言
    Go語言
    Python語言
    Node.js語言
    Android埋點

 

    Object  C -- IOS 埋點

 

(十二) 報警與監控提醒

    簡訊通知

    郵件通知

(十三) CAT與實時計算
    hadoop模組

    spark實時計算模組

 

介紹
        大眾點評CAT系統原型和理念來源於eBay的CAL的系統,CAT系統第一代設計者吳其敏在eBay工作長達十幾年,對CAL系統有深刻的理解。CAT不僅增強了CAL系統核心模型,還添加了更豐富的報表。自2014年開源以來,CAT在攜程、陸金所、獵聘網、找鋼網等多家網際網路公司生產環境應用。

    CAT是一個實時和接近全量的監控系統,它側重於對Java應用的監控,除了與點評RPC元件融合的很好之外,他將會能與Spring、MyBatis、Dubbo 等框架以及Log4j 等結合,不久將會支援PHP、C++、Go等多語言應用,基本接入了美團點評上海側所有核心應用。目前在中介軟體(MVC、RPC、資料庫、快取等)框架中得到廣泛應用,為美團點評各業務線提供系統的效能指標、健康狀況、監控告警等,在微服務監控領域也是非常有用的一套元件。

    在詳細瞭解CAT的整體設計細節之後,我們可以在CAT基礎之上輕鬆擴充套件我們自己的監控和資料收集模組。

    CAT專案的開源地址: https://github.com/dianping/cat

 

背景介紹
    CAT整個產品研發是從2011年底開始的,當時正是大眾點評App Net遷移Java的核心起步階段。當初大眾點評App已經有核心的基礎中介軟體、RPC元件Pigeon、統一配置元件lion。整體Java遷移已經在服務化的路上。隨著服務化的深入,整體Java在線上部署規模逐漸變多,同時,暴露的問題也越來越多。典型的問題有:

大量報錯,特別是核心服務,需要花很久時間才能定位。

異常日誌都需要線上許可權登陸線上機器排查,排錯時間長。

有些簡單的錯誤定位都非常困難(一次將線上的庫配置到了Beta,花了整個通宵排錯)。

很多不了了之的問題都懷疑是網路問題(從現在看,內網真的很少出問題)。

    雖然那時候也有一些簡單的監控工具(比如Zabbix,自己研發的Hawk系統等),可能單個工具在某方面的功能還不錯,但整體服務化水平參差不齊、擴充套件能力相對較弱,監控工具間不能互通互聯,使得查詢問題根源基本都需要在多個系統之間切換,有時候真的是靠“人品”才能找出根源。適逢吳其敏從eBay加入大眾點評成為首席架構師,eBay的CAL系統在內部非常成功,就在這樣天時地利與人和的情況下,我們開始研發了大眾點評App第一代監控系統——CAT。

Cat系統的特性
實時處理:資訊的價值會隨時間銳減,尤其是事故處理過程中。
全量資料:最開始的設計目標就是全量採集,全量的好處有很多。
高可用:所有應用都倒下了,需要監控還站著,並告訴工程師發生了什麼,做到故障還原和問題定位。
故障容忍:CAT本身故障不應該影響業務正常運轉,CAT掛了,應用不該受影響,只是監控能力暫時減弱。
高吞吐:要想還原真相,需要全方位地監控和度量,必須要有超強的處理吞吐能力。
可擴充套件:支援分散式、跨IDC部署,橫向擴充套件的監控系統。
不保證可靠:允許訊息丟失,這是一個很重要的trade-off,目前CAT服務端可以做到4個9的可靠性,可靠系統和不可靠性系統的設計差別非常大。
CAT支援的監控訊息型別包括:

Transaction 適合記錄跨越系統邊界的程式訪問行為,比如遠端呼叫,資料庫呼叫,也適合執行時間較長的業務邏輯監控,Transaction用來記錄一段程式碼的執行時間和次數。
Event 用來記錄一件事發生的次數,比如記錄系統異常,它和transaction相比缺少了時間的統計,開銷比transaction要小。
Heartbeat 表示程式內定期產生的統計資訊, 如CPU%, MEM%, 連線池狀態, 系統負載等。
Metric 用於記錄業務指標、指標可能包含對一個指標記錄次數、記錄平均值、記錄總和,業務指標最低統計粒度為1分鐘。
Trace 用於記錄基本的trace資訊,類似於log4j的info資訊,這些資訊僅用於檢視一些相關資訊
訊息樹
    CAT監控系統將每次URL、Service的請求內部執行情況都封裝為一個完整的訊息樹、訊息樹可能包括Transaction、Event、Heartbeat、Metric和Trace資訊,各個訊息樹之間,通過 rootMessageId以及parentMessageId串聯起來,形成整個呼叫鏈條。

完整的訊息樹:

視覺化的訊息樹:

分散式訊息樹【一臺機器呼叫另外一臺機器】:


 

CAT服務端部署
CAT安裝環境:

Linux 2.6以及之上(2.6核心才可以支援epoll),線上服務端部署請使用Linux環境,Mac以及Windows環境可以作為開發環境,美團點評內部CentOS 6.5
Java 6,7,8,服務端推薦是用jdk7的版本,客戶端jdk6、7、8都支援
Maven 3.3.3
MySQL 5.6,5.7,更高版本MySQL都不建議使用,不清楚相容性
J2EE容器建議使用tomcat,建議版本7.0.70
Hadoop環境可選,一般建議規模較小的公司直接使用磁碟模式,可以申請CAT服務端,500GB磁碟或者更大磁碟,這個磁碟掛載在/data/目錄上
目前我司線上環境:

    Distributor ID: CentOS
    Description: CentOS release 6.5 (Final)
    Release: 6.5
    Codename: Final
    Server version: Apache Tomcat/8.0.30
    Server built:   Dec 1 2015 22:30:46 UTC
    Server number:  8.0.30.0
    OS Name:        Linux
    OS Version:     2.6.32-431.el6.x86_64
    Architecture:   amd64
    JVM Version:    1.8.0_111-b14
    JVM Vendor:     Oracle Corporation
    Maven 3.3.3
    Mysql 5.6
    Tomcat  7.0.70  建議使用此版本

我的開發環境:

    作業系統: Windows 7
    IDE: Intelij IDEA
    JDK版本:1.8
    Mysql: 5.6
    Maven: 3.3.3
    Server version:Apache Tomcat/8.0.30

安裝CAT叢集大致步驟

 

    初始化Mysql資料庫,一套CAT叢集部署一個數據庫,初始化指令碼在script下的Cat.sql
    準備三臺CAT伺服器,IP比如為10.1.1.1,10.1.1.2,10.1.1.3,下面的例子會以這個IP為例子
    初始化/data/目錄,配置幾個配置檔案/data/appdatas/cat/*.xml 幾個配置檔案,具體下面有詳細說明
    打包cat.war 放入tomcat容器

 

    修改一個路由配置,重啟tomcat

Tomcat啟動引數調整,修改 catalina.sh檔案【服務端】

    需要每臺CAT叢集10.1.1.1,10.1.1.2,10.1.1.3都進行部署
    建議使用cms gc策略
    建議cat的使用堆大小至少10G以上,開發環境啟動2G堆啟動即可

CATALINA_OPTS="$CATALINA_OPTS -server -Djava.awt.headless=true -Xms25G -Xmx25G -XX:PermSize=256m -XX:MaxPermSize=256m -XX:NewSize=10144m -XX:MaxNewSize=10144m -XX:SurvivorRatio=10 -XX:+UseParNewGC -XX:ParallelGCThreads=4 -XX:MaxTenuringThreshold=13 -XX:+UseConcMarkSweepGC -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:+ScavengeBeforeFullGC -XX:+UseCMSCompactAtFullCollection -XX:+CMSParallelRemarkEnabled -XX:CMSFullGCsBeforeCompaction=9 -XX:CMSInitiatingOccupancyFraction=60 -XX:+CMSClassUnloadingEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:-ReduceInitialCardMarks -XX:+CMSPermGenSweepingEnabled -XX:CMSInitiatingPermOccupancyFraction=70 -XX:+ExplicitGCInvokesConcurrent -Djava.nio.channels.spi.SelectorProvider=sun.nio.ch.EPollSelectorProvider -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djava.util.logging.config.file="%CATALINA_HOME%\conf\logging.properties" -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCApplicationConcurrentTime -XX:+PrintHeapAtGC -Xloggc:/data/applogs/heap_trace.txt -XX:-HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/data/applogs/HeapDumpOnOutOfMemoryError -Djava.util.Arrays.useLegacyMergeSort=true"


    修改中文亂碼 tomcat conf 目錄下 server.xml:

<Connector port="8080" protocol="HTTP/1.1"            URIEncoding="utf-8"    connectionTimeout="20000"            redirectPort="8443" />  增加  URIEncoding="utf-8"
程式對於/data/目錄具體讀寫許可權【包括客戶端&服務端】
注意無論是CAT客戶端和服務端都要求/data/目錄能進行讀寫操作,如果/data/目錄不能寫,建議使用linux的軟連結連結到一個固定可寫的目錄,軟連結的基本命令請自行搜尋google

此目錄會存一些CAT必要的配置檔案,執行時候的快取檔案,建議不要修改,如果想改,請自行研究好原始碼裡面的東西,在酌情修改,此目錄不支援進行配置化

mkdir /data

chmod 777 /data/ -R

如果是Windows開發環境則是對程式執行盤下的/data/appdatas/cat和/data/applogs/cat有讀寫許可權,如果cat服務執行在e盤的tomcat中,則需要對e:/data/appdatas/cat和e:/data/applogs/cat有讀寫許可權

如果windows實在不知道哪個盤,就所有盤都建好,最後看哪個盤多檔案,就知道哪個了,當然你也可以通過配置系統環境變數CAT_HOME來指定伺服器日誌儲存的路徑,不過好像資料庫連線xml資訊等好像不太好自己配置,最好還是採用系統預設的 /data 目錄。

配置/data/appdatas/cat/client.xml【包括客戶端&服務端】
此配置檔案的作用是所有的客戶端都需要一個地址指向CAT的服務端,比如CAT服務端有三個IP,10.1.1.1,10.1.1.2,10.1.1.3,2280是預設的CAT服務端接受資料的埠,不允許修改,http-port是Tomcat啟動的埠,預設是8080,建議使用預設埠。
此檔案可以通過運維統一進行部署和維護,比如使用puppert等運維工具。
不同環境這份檔案不一樣,比如區分prod環境以及test環境,在美團點評內部一共是2套環境的CAT,一份是生產環境,一份是測試環境

<?xml version="1.0" encoding="utf-8"?>
    <config mode="client">
        <servers>
                <server ip="10.1.1.1" port="2280" http-port="8080"/>
                <server ip="10.1.1.2" port="2280" http-port="8080"/>
                <server ip="10.1.1.3" port="2280" http-port="8080"/>
        </servers>
    </config>


安裝CAT的資料庫
資料庫的指令碼檔案 script/Cat.sql
MySQL的一個系統引數:max_allowed_packet,其預設值為1048576(1M),修改為1000M,修改完需要重啟mysql
注意:一套獨立的CAT叢集只需要一個數據庫(之前碰到過個別同學在每臺cat的服務端節點都安裝了一個數據庫)
配置/data/appdatas/cat/datasources.xml【服務端配置】
需要每臺CAT叢集10.1.1.1,10.1.1.2,10.1.1.3都進行部署

注意:此xml僅僅為模板,請根據自己實際的情況替換jdbc.url,jdbc.user,jdbc.password的實際值。 app資料庫和cat資料配置為一樣,app庫不起作用,為了執行時候程式碼不報錯。

<?xml version="1.0" encoding="utf-8"?>
 
<data-sources>
    <data-source id="cat">
        <maximum-pool-size>3</maximum-pool-size>
        <connection-timeout>1s</connection-timeout>
        <idle-timeout>10m</idle-timeout>
        <statement-cache-size>1000</statement-cache-size>
        <properties>
            <driver>com.mysql.jdbc.Driver</driver>
            <url><![CDATA[${jdbc.url}]]></url>
            <user>${jdbc.user}</user>
            <password>${jdbc.password}</password>
            <connectionProperties><![CDATA[useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&socketTimeout=120000]]></connectionProperties>
        </properties>
    </data-source>
    <data-source id="app">
        <maximum-pool-size>3</maximum-pool-size>
        <connection-timeout>1s</connection-timeout>
        <idle-timeout>10m</idle-timeout>
        <statement-cache-size>1000</statement-cache-size>
        <properties>
            <driver>com.mysql.jdbc.Driver</driver>
            <url><![CDATA[${jdbc.url}]]></url>
            <user>${jdbc.user}</user>
            <password>${jdbc.password}</password>
            <connectionProperties><![CDATA[useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&socketTimeout=120000]]></connectionProperties>
        </properties>
    </data-source>
</data-sources>

配置/data/appdatas/cat/server.xml【服務端配置】
    需要每臺CAT叢集10.1.1.1,10.1.1.2,10.1.1.3都進行部署
    CAT節點一共有四個職責

    控制檯 - 提供給業務人員進行資料檢視【預設所有的cat節點都可以作為控制檯,不可配置】
    消費機 - 實時接收業務資料,實時處理,提供實時分析報表【預設所有的cat節點都可以作為消費機,不可配置】
    告警端 - 啟動告警執行緒,進行規則匹配,傳送告警(目前僅支援單點部署)【可以配置】
    任務機 - 做一些離線的任務,合併天、周、月等報表 【可以配置】
    線上做多叢集部署,比如說10.1.1.1,10.1.1.2,10.1.1.3這三臺機器


    建議選取一臺10.1.1.1 負責角色有控制檯、告警端、任務機,建議配置域名訪問CAT,就配置一臺機器10.1.1.1一臺機器掛在域名下面
    10.1.1.2,10.1.1.3 負責消費機處理,這樣能做到有效隔離,任務機、告警等問題不影響實時資料處理
    預設script下的server.xml為

 

<?xml version="1.0" encoding="utf-8"?>
<config local-mode="false" hdfs-machine="false" job-machine="true" alert-machine="false">
    <storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
        <hdfs id="logview" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="logview"/>
        <hdfs id="dump" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="dump"/>
        <hdfs id="remote" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="remote"/>
    </storage>
    <console default-domain="Cat" show-cat-domain="true">
        <remote-servers>127.0.0.1:8080</remote-servers>
    </console>
</config>


 

配置說明:

 

local-mode : 建議在開發環境以及生產環境時,都設定為false
hdfs-machine : 定義是否啟用HDFS儲存方式,預設為 false
job-machine : 定義當前服務是否為報告工作機(開啟生成彙總報告和統計報告的任務,只需要一臺服務機開啟此功能),預設為 false
alert-machine : 定義當前服務是否為報警機(開啟各類報警監聽,只需要一臺服務機開啟此功能),預設為 false;
storage : 定義資料儲存配置資訊
local-report-storage-time : 定義本地報告檔案存放時長,單位為(天)
local-logivew-storage-time : 定義本地日誌檔案存放時長,單位為(天)
local-base-dir : 定義本地資料儲存目錄,建議直接使用/data/appdatas/cat/bucket目錄
hdfs : 定義HDFS配置資訊
server-uri : 定義HDFS服務地址
console : 定義服務控制檯資訊
remote-servers : 定義HTTP服務列表,(遠端監聽端同步更新服務端資訊即取此值)
ldap : 定義LDAP配置資訊(這個可以忽略)
ldapUrl : 定義LDAP服務地址(這個可以忽略)
按照如上的說明,10.1.1.1 機器/data/appdatas/cat/serverm.xml配置,注意hdfs配置就隨便下了一個,請忽略

<?xml version="1.0" encoding="utf-8"?>
<config local-mode="false" hdfs-machine="false" job-machine="true" alert-machine="true">
    <storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
    <hdfs id="logview" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="logview"/>
        <hdfs id="dump" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="dump"/>
        <hdfs id="remote" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="remote"/>
    </storage>
    <console default-domain="Cat" show-cat-domain="true">
        <remote-servers>10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080</remote-servers>
    </console>
</config>


10.1.1.2,10.1.1.3 機器/data/appdatas/cat/serverm.xml配置如下,僅僅job-machine&alert-machine修改為false

<?xml version="1.0" encoding="utf-8"?>
<config local-mode="false" hdfs-machine="false" job-machine="false" alert-machine="false">
    <storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
    <hdfs id="logview" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="logview"/>
        <hdfs id="dump" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="dump"/>
        <hdfs id="remote" max-size="128M" server-uri="hdfs://10.1.77.86/user/cat" base-dir="remote"/>
    </storage>
    <console default-domain="Cat" show-cat-domain="true">
        <remote-servers>10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080</remote-servers>
    </console>
</config>


war打包
    1、在cat的原始碼目錄,執行mvn clean install -DskipTests
    2、如果發現cat的war打包不通過,CAT所需要依賴jar都部署在 http://unidal.org/nexus/
    3、可以配置這個公有云的倉庫地址到本地的settings路徑,理論上不需要配置即可,可以參考cat的pom.xml配置

 4、如果自行打包仍然問題,請使用下面連結進行下載http://unidal.org/nexus/service/local/repositories/releases/content/com/dianping/cat/cat-home/2.0.0/cat-home-2.0.0.war

    5、官方的cat的master版本,重新命名為cat.war進行部署,注意此war是用jdk8,服務端請使用jdk8版本
    6、如下是個人本機電腦的測試,下載的jar來自於repo1.maven.org 以及 unidal.org

 

Downloading: http://repo1.maven.org/maven2/org/codehaus/plexus/plexus-utils/3.0.24/plexus-utils-3.0.24.jar
Downloaded: http://repo1.maven.org/maven2/org/apache/commons/commons-email/1.1/commons-email-1.1.jar (30 KB at 9.8 KB/sec)
Downloaded: http://repo1.maven.org/maven2/javax/servlet/jstl/1.2/jstl-1.2.jar (405 KB at 107.7 KB/sec)
Downloaded: http://repo1.maven.org/maven2/com/google/code/javaparser/javaparser/1.0.8/javaparser-1.0.8.jar (235 KB at 55.4 KB/sec)
Downloaded: http://repo1.maven.org/maven2/org/codehaus/plexus/plexus-utils/3.0.24/plexus-utils-3.0.24.jar (242 KB at 46.9 KB/sec)
Downloaded: http://repo1.maven.org/maven2/org/freemarker/freemarker/2.3.9/freemarker-2.3.9.jar (789 KB at 113.3 KB/sec)
Downloading: http://unidal.org/nexus/content/repositories/releases/org/unidal/webres/WebResServer/1.2.1/WebResServer-1.2.1.jar
Downloading: http://unidal.org/nexus/content/repositories/releases/org/unidal/webres/WebResTagLibrary/1.2.1/WebResTagLibrary-1.2.1.jar
Downloading: http://unidal.org/nexus/content/repositories/releases/org/unidal/webres/WebResTag/1.2.1/WebResTag-1.2.1.jar
Downloading: http://unidal.org/nexus/content/repositories/releases/org/unidal/webres/WebResRuntime/1.2.1/WebResRuntime-1.2.1.jar
Downloading: http://unidal.org/nexus/content/repositories/releases/org/unidal/webres/WebResApi/1.2.1/WebResApi-1.2.1.jar
Downloaded: http://unidal.org/nexus/content/repositories/releases/org/unidal/webres/WebResApi/1.2.1/WebResApi-1.2.1.jar (21 KB at 82.7 KB/sec)
Downloading: http://unidal.org/nexus/content/repositories/releases/org/unidal/webres/WebResBase/1.2.1/WebResBase-1.2.1.jar


```
[INFO] parent ............................................. SUCCESS [ 40.478 s]
[INFO] cat-client ......................................... SUCCESS [03:47 min]
[INFO] cat-core ........................................... SUCCESS [ 31.740 s]
[INFO] cat-hadoop ......................................... SUCCESS [02:50 min]
[INFO] cat-consumer ....................................... SUCCESS [  3.197 s]
[INFO] cat-home ........................................... SUCCESS [ 58.964 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
``` 


war部署
 

    1、將cat.war部署到10.1.1.1的tomcat的webapps下,啟動tomcat,注意webapps下只允許放一個war,僅僅為cat.war
    2、如果發現重啟報錯,裡面有NPE等特殊情況,可以檢查當前java程序,ps aux | grep java,可能存在之前的tomcat的程序沒有關閉,又新啟動了一個,導致出問題,建議kill -9 幹掉所有的java程序
    3、開啟控制檯的URL,http://10.1.1.1:8080/cat/s/config?op=routerConfigUpdate
    4、注意10.1.1.1這個IP需要替換為自己實際的IP連結,修改路由配置只能修改一次即可

 

    5、修改路由配置為如下,當為如下配置時,10.1.1.1 正常不起消費資料的作用,僅當10.1.1.2以及10.1.1.3都掛掉才會進行實時流量消費

<?xml version="1.0" encoding="utf-8"?>
<router-config backup-server="10.1.1.1" backup-server-port="2280">
   <default-server id="10.1.1.2" weight="1.0" port="2280" enable="true"/>
   <default-server id="10.1.1.3" weight="1.0" port="2280" enable="true"/>
</router-config>
    6、重啟10.1.1.1的機器的tomcat
    7、將cat.war部署到10.1.1.2,10.1.1.3這兩臺機器中,啟動tomcat
    8、cat叢集部署完畢,如果有問題,歡迎在微信群諮詢,如果文件有誤差,歡迎指正以及提交pullrequest

 

重啟保證資料不丟

    請在tomcat重啟之前呼叫當前tomcat的儲存資料的連結 http://${ip}:8080/cat/r/home?op=checkpoint,重啟之後資料會恢復。【注意重啟時間在每小時的整點10-55分鐘之間】
 線上部署時候,建議把此連結呼叫存放於tomcat的stop指令碼中,這樣不需要每次手工呼叫

 

 

 

 

開發環境CAT的部署
    1、請按照如上部署/data/環境目錄,資料庫配置client.xml ,datasources.xml,server.xml這三個配置檔案,注意server.xml裡面的節點角色,job-machine&alert-machine都可以配置為true
    2、在cat目錄中執行 mvn eclipse:eclipse,此步驟會生成一些程式碼檔案,直接匯入到工程會發現找不到類
    3、將原始碼以普通專案到入eclipse中,注意不要以maven專案匯入工程
    4、執行com.dianping.cat.TestServer 這個類,即可啟動cat伺服器
    5、這裡和叢集版本唯一區別就是服務端部署單節點,client.xml server.xml以及路由地址配置為單臺即可

 

CAT客戶端Demo
 

   cat客戶端的配置:

    cat客戶端也需要配置 /data 目錄,程式對於/data/目錄具體讀寫許可權可以參考上一節,

    然後通過maven引入cat客戶端包,在pom.xml 加入:

<dependency>
  <groupId>com.dianping.cat</groupId>
  <artifactId>cat-core</artifactId>
  <version>2.0.0</version>
</dependency>
<dependency>
  <groupId>com.dianping.cat</groupId>
  <artifactId>cat-client</artifactId>
  <version>2.0.0</version>
</dependency>
    引入之後:

    以上配置會通過maven從網上引入 cat-core和cat-client 包,如果無法配置引入,也可以手動引入 cat-client.jar 包。

    CAT預設會將/data/appdatas/cat 作為CAT Home目錄,這個目錄至關重要,CAT客戶端配置檔案 client.xml 是在這個目錄內,當然,如果你是在 windows 下除錯, 你也可以在src/main/resources/ 目錄下新建 META-INF/cat 目錄, 並將 client.xml 配置檔案放入 src/main/resources/META-INF/cat 目錄裡,你可以為你的監控配置domain,即專案名,如下配置 <domain id="translate"/> 。

<?xml version="1.0" encoding="utf-8"?>
 
<config mode="client" xmlns:xsi="http://www.w3.org/2001/XMLSchema" xsi:noNamespaceSchemaLocation="config.xsd">
    <domain id="translate"/>
    <servers>
        <!-- Local mode for development -->
        <server ip="127.0.0.1" port="2280" http-port="8080" />
        <!-- If under production environment, put actual server address as list. -->
        <!-- 
            <server ip="192.168.7.71" port="2280" /> 
            <server ip="192.168.7.72" port="2280" /> 
        -->
    </servers>
</config>
第一個監控程式:

    所有都配置好了,接下來我們來寫第一個監控程式,監控都是由使用者自己埋點,當然,在本書最後,我們將會講解CAT監控如何與各個流行框架之間更好的融合,以幫助使用者達到無侵入式的監控埋點,假設我們對使用者提供了一個翻譯服務,其中有個介面就是HelloWorld,在下面程式中,我們將以事務日誌形式記錄使用者呼叫行為:

public Object helloWorld(HttpServletRequest request, HttpServletResponse response) {
    MessageProducer cat = Cat.getProducer();
    Transaction t = cat.newTransaction("URL", "Translate/HelloWorld");  //type=URL的事務記錄: 你的介面/方法名稱
    try{
        //do your business
    
        t.setStatus(Message.SUCCESS);
    } catch (Exception e) {
        Cat.getProducer().logError(e);
        t.setStatus(e);
    } finally {
        t.complete();
    }
    
    return null;
}
    好了,我們再去管理平臺去看看報表資訊把,Transaction事務報表中,type=URL的事務有3條,我們通常用URL型別的事務訊息標誌著介面服務的開始,展開之後,我們看到這個裡面該專案提供的3個服務被呼叫了,其中就有我們的 Translate/HelloWorld:

再點開某個介面的[::show::]進入詳細統計,包括耗時分佈、每分鐘的資料、以及該服務叢集下各個機器的統計情況,我們可以通過這個看出是不是某臺機器出了問題:

點選LogView進入最近一條事務的原始日誌(problem報表才會記錄全部的原始日誌):

 

    接下來,我們來看一個更復雜的案例,涉及服務的呼叫以及資料庫、快取的呼叫,如下:

@Controller
public class Translate {
    public Map<String, String> maps = new HashMap<String, String>();
 
    public Cat.Context context;
    
    @RequestMapping(value = "/translate/getWordMean", produces = "application/json")
    @ResponseBody
    //獲取翻譯釋義
    public Object getWordMean(HttpServletRequest request, HttpServletResponse response) {
        context = new Cat.Context() {
            @Override
            public void addProperty(String key, String value) {
                maps.put(key, value);
            }
 
            @Override
            public String getProperty(String key) {
                return maps.get(key);
            }
        }; //服務呼叫訊息上下文
 
        MessageProducer cat = Cat.getProducer();
        Transaction t = cat.newTransaction("URL", "translate/getWordMean");  //你的介面/方法名稱
 
        cat.logEvent("ClientInfo", "RemoteIp=127.0.0.1&Referer=...");  //記錄遠端呼叫端資訊
        cat.logEvent("Payload", "HTTP/GET /translate/getWordMean?client=3&clientVersion=0&v=9.5&uid=3214567...."); //呼叫端引數
 
        //使用者校驗
        authCheck();
 
        //先從快取Redis獲取結果
        Transaction cacheT = cat.newTransaction("Cache.memcached.redis", "translate_result:get");
        cat.logEvent("Cache.memcached.redis.server", "127.0.0.1:6379");
 
        //do your cache operation
 
        cacheT.setStatus(Message.SUCCESS);
        cacheT.complete();
 
        //do your translate operation
 
        //記錄遠端語音服務呼叫
        Transaction callT = cat.newTransaction("Call", "voice:getVoice");
        Cat.logEvent("Call.server","localhost");  //遠端服務地址
        Cat.logEvent("Call.app","voice");   //語音服務
        Cat.logEvent("Call.port","8080");   //語音服務埠
        Cat.logRemoteCallClient(context); //生成訊息呼叫上下文,主要是幾個messageId的建立。
 
        voiceService(context); 
 
        callT.setStatus(Message.SUCCESS);
        callT.complete();
 
        OutputData result = new OutputData();
        result.setErrno(0);
        result.setErrmsg("success");
        result.setTranslateResult("translate result ...");
 
        t.setStatus(Message.SUCCESS);
        t.complete();
 
        return result;
    }
 
    public boolean authCheck() {
        MessageProducer cat = Cat.getProducer();
        Transaction checkUser = cat.newTransaction("Method", "checkAuth");
 
        //從資料庫查詢使用者資訊
        Transaction sqlT = cat.newTransaction("SQL", "Select");
 
        cat.logEvent("SQL.Database", "jdbc:mysql://127.0.0.1:3306/user");
        cat.logEvent("SQL.Method", "select");
        cat.logEvent("SQL.Statement", "SELECT", Message.SUCCESS, "select * from user_info");
 
        //to do your SQL query
 
        sqlT.setStatus(Message.SUCCESS);
        sqlT.complete();
 
        //to do your auth check
 
        checkUser.setStatus(Message.SUCCESS);
        checkUser.complete();
        return true;
    }
    
    //執行緒模擬語音服務
    protected void voiceService(final Cat.Context context) {
        Thread thread = new Thread() {
            @Override
            public void run() {
                //伺服器埋點,Domain為 voice 提供語音服務
                Cat.getManager().getThreadLocalMessageTree().setDomain("voice");
                MessageProducer cat = Cat.getProducer();
                Transaction voiceService = Cat.newTransaction("URL", "voice/getVoice"); //你的介面/方法名稱
                cat.logEvent("ClientInfo", "RemoteIp=127.0.0.1&Referer=...");  //記錄遠端呼叫端資訊
                cat.logEvent("Payload", "HTTP/GET /voice/getVoice?client=3&clientVersion=0&v=9.5&uid=3214567...."); //呼叫端引數
 
                //記錄服務資訊
                Transaction child = Cat.newTransaction("Service", "voice:getVoice");
                Cat.logEvent("Service.client", "localhost"); //客戶端地址
                Cat.logEvent("Service.app", "translate"); //客戶端domain
                Cat.logRemoteCallServer(context); //記錄訊息上下文
 
                //to do your business
 
                child.setStatus(Message.SUCCESS);
                child.complete();
 
                voiceService.setStatus(Message.SUCCESS);
                voiceService.complete();
 
            }
        };
 
        thread.start();
 
        // wait for it to complete
        try {
            thread.join();
        } catch (InterruptedException e) {
            // ignore it
        }
    }
}


    這是我們一個對外提供的翻譯服務,getWordMean為服務控制器入口,我們將原始訊息展開如下,整個服務處理耗時571ms,一進來我們會記錄URL型別事務,以及呼叫引數,然後記錄使用者校驗函式,在函式內部,有查詢使用者資訊的資料庫操作,也會被記錄下,查詢耗時150ms,接下來我們會先從快取獲取結果, 快取查詢耗時 59ms,隨後我們翻譯內容,翻譯之後我們會呼叫語音服務提供的發音介面,voice/getVoice,發音介面呼叫一共耗時 361 ms。

下一篇:   CAT跨語言服務鏈監控(二) CAT服務端初始化