2. 程式人生 > >Dubbo 整合 Pinpoint 做分布式服務請求跟蹤

Dubbo 整合 Pinpoint 做分布式服務請求跟蹤

阿新 • • 發佈：2018-07-26
-c oracle 啟動 ebs ofo get pts 應用性能管理 線程

在使用Dubbo進行服務化或者整合應用後，假設某個服務後臺日誌顯示有異常，這個服務又被多個應用調用的情況下，我們通常很難判斷是哪個應用調用的，問題的起因是什麽，因此我們需要一套分布式跟蹤系統來快速定位問題，Pinpoint可以幫助我們快速定位問題（當然，解決方案也不止這一種）。

什麽是Pinpoint

摘自Pinpoint學習筆記

https://skyao.gitbooks.io/learning-pinpoint

Pinpoint是一個開源的 APM (Application Performance Management/應用性能管理)工具，用於基於java的大規模分布式系統。 仿照Google Dapper，Pinpoint通過跟蹤分布式應用之間的調用來提供解決方案，以幫助分析系統的總體結構和內部模塊之間如何相互聯系。

註：對於各個模塊之間的通訊英文原文中用的是transaction一詞，但是我覺得如果翻譯為"事務"容易引起誤解，所以替換為"交互"或者"調用"這種比較直白的字眼。

Pinpoint是一個分析大型分布式系統的平臺，提供解決方案來處理海量跟蹤數據。2012年七月開始開發，2015年1月9日作為開源項目啟動。

服務器地圖

ServerMap

通過可視化分布式系統的模塊和他們之間的相互聯系來理解系統拓撲。點擊某個節點會展示這個模塊的詳情，比如它當前的狀態和請求數量。

實時活動線程圖表

Realtime Active Thread Chart

實時監控應用內部的活動線程。

請求/應答分布圖表

Request/Response Scatter Chart

長期可視化請求數量和應答模式來定位潛在問題。通過在圖表上拉拽可以選擇請求查看更多的詳細信息。

調用棧

CallStack

在分布式環境中為每個調用生成代碼級別的可視圖，在單個視圖中定位瓶頸和失敗點。

巡查

Inspector

查看應用上的其他詳細信息，比如CPU使用率，內存/垃圾回收，TPS，和JVM參數。

支持模塊

  • JDK 6+
  • Tomcat 6 / 7 / 8，Jetty 8/9，JBoss EAP 6，Resin 4，Websphere 6 / 7 / 8，Vertx 3.3 / 3.4 / 3.5
  • Spring，Spring Boot（嵌入式Tomcat，Jetty）
  • Apache HTTP Client 3.x / 4.x，JDK HttpConnector，GoogleHttpClient，OkHttpClient，NingAsyncHttpClient
  • Thrift Client，Thrift Service，DUBBO PROVIDER，DUBBO CONSUMER
  • ActiveMQ，RabbitMQ
  • MySQL，Oracle，MSSQL，CUBRID，POSTGRESQL，MARIA
  • Arcus，Memcached，Redis，CASSANDRA
  • iBATIS，MyBatis
  • DBCP，DBCP2，HIKARICP
  • gson，Jackson，Json Lib
  • log4j，Logback

部署

本次基礎環境搭建我就不講了，如不會，請自行搜索或者參考我博客文章https://www.souyunku.com

  • 說下我的測試環境：hadoop-2.7.4 集群，hbase-1.3.1 集群，zookeeper-3.4.9 單機，一共四臺機器
  • 為避免部分端口不通等可疑問題, 建議關閉防火墻

下載

進入GitHub 找到需要的版本：https://github.com/naver/pinpoint/releases

wget https://github.com/naver/pinpoint/releases/download/1.7.3/pinpoint-agent-1.7.3.tar.gz
wget https://github.com/naver/pinpoint/releases/download/1.7.3/pinpoint-collector-1.7.3.war
wget https://github.com/naver/pinpoint/releases/download/1.7.3/pinpoint-web-1.7.3.war

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.4.5/hbase-1.4.5-bin.tar.gz

準備環境

  1. 配置 JDK 環境 (筆者使用 Oracle 1.8, openJdk 可以)
  2. 搭建 Zookeeper 環境
  3. 搭建 Hbase (單節點即可)
  4. 在 Hbase/bin 下執行?./hbase shell hbase-create.hbase?創建相關存儲結構
  5. 準備 Tomcat 環境
  6. 準備可分布式部署的項目用於測試

修改 Pinpoint

pinpoint-collector-1.7.3.war

修改 WEB-INF\classes\hbase.properties 文件
hbase.client.host 設置為 hbase 所用的 zk 地址

修改 WEB-INF\classes\pinpoint-collector.properties 文件
cluster.zookeeper.address 修改為給 Pinpoint 準備的 zk 地址

pinpoint-web-1.7.3.war

修改 WEB-INF\classes\hbase.properties 文件
hbase.client.host 設置為 hbase 所用的 zk 地址

修改 WEB-INF\classes\pinpoint-web.properties 文件
cluster.zookeeper.address 修改為給 Pinpoint 準備的 zk 地址

部署 collector 和 web

  1. 將準備好的 tomcat 中 webapps 目錄清空
  2. 將上一步修好的兩個 war 包放置到 webapps
  3. 將?pinpoint-web-1.7.3.war?修改為?ROOT.war
  4. 將?pinpoint-collector-1.7.3.war?修改為?collector.war
  5. 啟動 Tomcat

查看 tomcat/logs 下的日誌, 註意觀察有沒有連接不到 2181 端口的日誌, 如果有, 可能是 war 中的配置沒有修改正確, 建議清空 tomcat 下 work、temp 文件夾後重試

部署 agent

  • 安裝agent，不需要修改哪怕一行代碼
  • Pinpoint對性能的影響最小（資源使用量增加約3％）
  1. 將 pinpoint-agent-1.7.3.tar.gz 解壓,
  2. 把 pinpoint.config 文件中?profiler.collector.ip?屬性值修改為部署 collector 機器的主機名或 IP

註意： 每個項目所在的服務器都需要部署 agent

準備Dubbo示例程序

我的測試項目：https://github.com/souyunku/spring-boot-examples/tree/master/spring-boot-dubbo

配置?application.properties，修改地址?zookeeper.connect=127.0.0.1:2181 為自己的zk

mvn clean package

修改自己項目的啟動參數

需要添加三個啟動參數

-javaagent： 指向 agent 目錄下的 pinpoint-bootstrap-1.7.3.jar
-Dpinpoint.agentId：設置全局唯一標示 ID
-Dpinpoint.applicationName： 設置項目的名稱(如果同一項目部署兩臺實例,這兩臺的參數應該一致)

Tomcat 和 Jar 項目有不同的添加方式,可參考如下方式修改

Tomcat

找到 bin/catalina.sh 添加下面的代碼

CATALINA_OPTS="$CATALINA_OPTS -javaagent:$AGENT_PATH/pinpoint-bootstrap-1.7.3.jar"
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.agentId=tomcat1"
CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.applicationName=webcontroller"

SpringBoot

# DUBBO 提供者
java -javaagent:/opt/pinpoint-bootstrap-1.7.3.jar -Dpinpoint.agentId=dubbo-provider-1 -Dpinpoint.applicationName=dubbo-provider -jar dubbo-provider-1.0-SNAPSHOT.jar

# DUBBO 消費者
java -javaagent:/opt/pinpoint-bootstrap-1.7.3.jar -Dpinpoint.agentId=dubbo-consumer-1 -Dpinpoint.applicationName=dubbo-consumer -jar dubbo-consumer-1.0-SNAPSHOT.jar

在自己的項目添加完畢啟動後,即可登錄 web 後臺查看集群的狀態, 跟蹤請求

測試

訪問消費方地址模擬用戶請求

http://localhost:8080/sayHello?name=souyunku

截圖

首頁

技術分享圖片

指定時間點的，選中區域的請求明細

技術分享圖片
技術分享圖片

請求響應明細和系統拓撲

技術分享圖片

視圖中定位瓶頸和失敗點

技術分享圖片
技術分享圖片

消費者機器的， CPU使用率，內存/垃圾回收，TPS，和JVM參數

技術分享圖片
技術分享圖片

參考：

https://segmentfault.com/a/1190000011290541

http://dubbo.apache.org/#!/blog/pinpoint.md?lang=en-us

Contact

  • 作者：鵬磊
  • 出處：http://www.ymq.io/2018/07/26/Dubbo-Pinpoint
  • 版權歸作者所有，轉載請註明出處
  • Wechat：關註公眾號，搜雲庫，專註於開發技術的研究與知識分享

技術分享圖片

Dubbo 整合 Pinpoint 做分布式服務請求跟蹤

相關推薦

Dubbo 整合 Pinpoint 做分布式服務請求跟蹤

-c oracle 啟動 ebs ofo get pts 應用性能管理 線程 在使用Dubbo進行服務化或者整合應用後，假設某個服務後臺日誌顯示有異常，這個服務又被多個應用調用的情況下，我們通常很難判斷是哪個應用調用的，問題的起因是什麽，因此我們需要一套分布式跟蹤系統來快速

redis做分布式服務限流

bsp class 分布式服務 核心 () 實現 分布式 try mit 1.單機限流 使用guava提供工具庫裏的RateLimiter類(內部采用令牌捅算法實現)進行限流 <!--核心代碼片段--> private RateLimiter rate

SpringBoot開發案例之整合Dubbo分布式服務

tps blog 計算 報錯 相同 tor 3.4 .class 總結 前言 在 SpringBoot 很火熱的時候，阿裏巴巴的分布式框架 Dubbo 不知是處於什麽考慮，在停更N年之後終於進行維護了。在之前的微服務中，使用的是當當維護的版本 Dubbox，整合方式也是使

分布式服務：Dubbo+Zookeeper+Proxy+Restful

spring mvc+my batis kafka dubbo+zookeerper restful redis分布式緩存 分布式分布式服務：Dubbo+Zookeeper+Proxy+Restful分布式消息中間件：KafKa+Flume+Zookeeper分布式緩存：Redis 分布

分布式服務--spring mvc +mybatis + Dubbo+Zookeeper+Proxy+Restful

spring mvc+my batis kafka dubbo+zookeerper restful redis分布式緩存 雲服務子系統：後臺管理系統、Restfu服務系統、Dubbo服務/管控/監控中心Zookeeper註冊中心、報表分析系統、日誌記錄系統、定時調度系統搜索引擎系統、分布式文

分布式服務框架Dubbo

tex 暴露 長連接 節點和 server ace 垂直 增加 框架 隨著互聯網的發展，網站應用的規模不斷擴大，常規的垂直應用架構已無法應對，分布式服務架構以及流動計算架構勢在必行，亟需一個治理系統確保架構有條不紊的演進。 單一應用架構 　　當網站流量很小時，只需

分布式服務治理框架Dubbo

dubbo前言Dubbo是一個被國內很多互聯網公司廣泛使用的開源分布式服務治理框架，是一個非常全面的SOA基礎框架，當當網在Dubbo基礎上新增了一些功能，並將其命名為Dubbox（Dubbo eXtensions）。為什麽需要Dubbo？以前所有的業務處理，都在一個系統當中；接著，這個大系統按照業務領域劃分

轉載：java分布式服務框架Dubbo的介紹與使用

應用 輸入流 tro odin 測試 失敗 bat provide 建議 1. Dubbo是什麽？ Dubbo是一個分布式服務框架，致力於提供高性能和透明化的RPC遠程服務調用方案，以及SOA服務治理方案。簡單的說，dubbo就是個服務框架，如果沒有分布式的需求，其實是不需

分布式服務Dubbo+Zookeeper安全認證

ble 密碼 ces his 所有 權限認證 setquota cep enca 前言 由於之前的服務都是在內網，Zookeeper集群配置都是走的內網IP，外網不開放相關端口。最近由於業務升級，購置了阿裏雲的服務，需要對外開放Zookeeper服務。 問題 Zookeep

Dubbo：來自於阿裏巴巴的分布式服務框架

不同的 hessian 容器 -i 開發 權重 負責 服務提供者 調用鏈 Dubbo是阿裏巴巴SOA服務化治理方案的核心框架，每天為2,000+個服務提供3,000,000,000+次訪問量支持，並被廣泛應用於阿裏巴巴集團的各成員站點 Dubbo是一個阿裏巴巴開源出來的一

Java學習之Dubbo+ZooKeeper分布式服務Demo

SM 簡單 download 生產 wrap load ssm tps TP 背景：在之前的一個《Java學習之SpringBoot整合SSM Demo》分享中說到搭建ZooKeeper和Dubbo分布式框架中遇到了一些技術問題沒能成功，只分享了其中的一個中間產物，那就是大

阿裏分布式服務框架Dubbo的架構總結

請求響應 業務 fig PE per reference 想要 客戶端 路由 Dubbo是Alibaba開源的分布式服務框架，它最大的特點是按照分層的方式來架構，使用這種方式可以使各個層之間解耦合（或者最大限度地松耦合）。從服務模型的角度來看，Dubbo采用的是一種非常簡單

JEESZ架構、分布式服務：Dubbo+Zookeeper+Proxy+Restful

bbb tst blog mark 分布式服務 快速 ext 消息中間件 51cto 分布式 分布式服務：Dubbo+Zookeeper+Proxy+Restful 分布式消息中間件：KafKa+Flume+Zookeeper 分布式緩存：Redis 分布式文件：Fa

配置dubbo（分布式服務框架）

框架 dubbo bsp dep manage 服務 nag lib artifact <properties> <dubbo.version>2.5.3</dubbo.version> </properties>

dubbo系列二、dubbo+zookeeper+dubboadmin分布式服務框架搭建(windows平臺)

limit send dem ring 分布 gui ref urn standard 一、zookeeper配置中心安裝 1、下載安裝包，zookeeper-3.4.6.tar.gz 2、解壓安裝包，修改配置文件 參考zookeeper-3.4.6/co

Maven多模塊，Dubbo分布式服務框架，SpringMVC，前後端分離項目，基礎搭建，搭建過程出

接口實現 url 代碼 blacklist order compiler ply 整合過程 ram 一、Maven多模塊項目的創建 　　　　我們需要建立一個多模塊的maven項目，其目錄結構為其中student-api用於暴露接口；student-service用語處理業務

一篇文章帶你深入了解Dubbo分布式服務框架

模式 text bject 目錄 ilo 方法 開發者 有變 關聯 一、產生的背景 隨著互聯網的發展，網站應用的規模不斷擴大，常規的垂直應用架構已無法應對，分布式服務架構以及流動計算架構勢在必行，亟需一個治理系統確保架構有條不紊的演進。下面我們用一個圖來具體說明架構和開發框

Dubbo分布式服務框架

通信 pad 參數 屏蔽 輸入 完整 工具 ann ima Dubbo （開源分布式服務框架） 編輯 本詞條缺少信息欄，補充相關內容使詞條更完整，還能快速升級，趕緊來編輯吧！ Dubbo是 [1] 阿裏巴巴公司開源的一個高性能優秀的服務框架，使得應用可通過高性能

Dubbo 整合 Pinpoint 做分散式服務請求跟蹤

在使用Dubbo進行服務化或者整合應用後，假設某個服務後臺日誌顯示有異常，這個服務又被多個應用呼叫的情況下，我們通常很難判斷是哪個應用呼叫的，問題的起因是什麼，因此我們需要一套分散式跟蹤系統來快速定位問題，Pinpoint可以幫助我們快速定位問題（當然，解決方案

分布式服務跟蹤及Spring Cloud的實現

　　在分布式服務架構中，需要對分布式服務進行治理——在分布式服務協同向用戶提供服務時，每個請求都被哪些服務處理？在遇到問題時，在調用哪個服務上發生了問題？在分析性能時，調用各個服務都花了多長時間？哪些調用可以並行執行？……為此，分布式服務平臺就需要提供這樣一種基礎服務——可以記錄每個請求的調用鏈；調用鏈上調用