2. 程式人生 > >Spring Cloud技術分析（3）- spring cloud sleuth

Spring Cloud技術分析（3）- spring cloud sleuth

阿新 • • 發佈：2019-01-24

地址：http://tech.lede.com/

1. 目的

  • 提供鏈路追蹤。通過sleuth可以很清楚的看出一個請求都經過了哪些服務。可以很方便的理清服務間的呼叫關係。
  • 視覺化錯誤。對於程式未捕捉的異常，可以在zipkin介面上看到。
  • 分析耗時。通過sleuth可以很方便的看出每個取樣請求的耗時，分析出哪些服務呼叫比較耗時。當服務呼叫的耗時隨著請求量的增大而增大時，也可以對服務的擴容提供一定的提醒作用。
  • 優化鏈路。對於頻繁地呼叫一個服務，或者並行地呼叫等，可以針對業務做一些優化措施。

2. 應用程式整合spring cloud sleuth

spring cloud sleuth可以結合zipkin，將資訊傳送到zipkin，利用zipkin的儲存來儲存資訊，利用zipkin ui來展示資料。同時也可以只是簡單的將資料記在日誌中。

2.1 僅僅使用sleuth+log配置

maven配置

1
2
3
4
5
6
7
8
9
10
11

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-dependencies</artifactId>
	<version>Camden.SR6</version>
	<type>pom</type>
	<scope>import</scope>
</dependency
 
>
<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>

這種方式只需要引入jar包即可。如果配置log4j，這樣會在打印出如下的日誌：

2017-04-08 23:56:50.459 INFO [bootstrap,38d6049ff0686023,d1b8b0352d3f6fa9,false] 8764 — [nio-8080-exec-1] demo.JpaSingleDatasourceApplication : Step 2: Handling print
2017-04-08 23:56:50.459 INFO [bootstrap,38d6049ff0686023,d1b8b0352d3f6fa9,false] 8764 — [nio-8080-exec-1] demo.JpaSingleDatasourceApplication : Step 1: Handling home

比原先的日誌多出了 [bootstrap,38d6049ff0686023,d1b8b0352d3f6fa9,false] 這些內容，[appname,traceId,spanId,exportable]。

  • appname：服務名稱
  • traceId\spanId：鏈路追蹤的兩個術語，後面有介紹
  • exportable:是否是傳送給zipkin

2.2 sleuth+zipkin+http

sleuth收集跟蹤資訊通過http請求發給zipkin。這種需要啟動一個zipkin,zipkin用來儲存資料和展示資料。

大體流程圖

1-2

BlockingQueue的大小sleuth寫死了為1000。當佇列滿了還往裡放的話，sleuth只是加了個記錄處理。

應用程式配置

maven引入
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-dependencies</artifactId>
	<version>Camden.SR6</version>
	<type>pom</type>
	<scope>import</scope>
</dependency>
<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>
<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-zipkin</artifactId>
</dependency>
配置檔案配置
1
2
3

spring.sleuth.sampler.percentage=0.1  取樣率 
spring.zipkin.baseUrl=http://zipkin.xxx.com 傳送到zipkinServer的url
spring.zipkin.enabled=true

zipkin

maven引入
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-zipkin</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-stream-binder-kafka</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-sleuth-zipkin-stream</artifactId>
</dependency>
<dependency>
    <groupId>io.zipkin.java</groupId>
    <artifactId>zipkin-autoconfigure-ui</artifactId>
    <!--<version>1.40.2</version>-->
</dependency>
spring boot程式
1
2
3
4
5
6
7
8
9

@SpringBootApplication(exclude = SleuthStreamAutoConfiguration.class)
@EnableZipkinServer
public class SleuthServerApplication
{
	public static void main(String[] args)
{
		SpringApplication.run(SleuthServerApplication.class, args);
	}
}
儲存配置

zipkin的儲存包括mysql、es、cassadra。如果不配置儲存的話，預設是在記憶體中的。如果在記憶體中的話，當重啟應用後，資料就會丟失了。

mysql儲存
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

spring:
  application:
    name: sleuth-zipkin-http
  datasource:
    schema: classpath:/mysql.sql
    url: jdbc:mysql://192.168.3.3:2222/zipkin
    driverClassName: com.mysql.jdbc.Driver
    username: app
    password: %jdbc-1.password%
    # Switch this on to create the schema on startup:
    initialize: true
    continueOnError: true
  sleuth:
    enabled: false

# default is mem (in-memory)
zipkin:
	storage:
	   type: mysql

mysql的指令碼在zipkin包裡已經提供了，只需要執行一下就可以了。

es儲存
1
2
3
4
5
6
7
8
9

zipkin:
  storage:
    type: elasticsearch
    elasticsearch:
      cluster: ${ES_CLUSTER:elasticsearch}
      hosts: ${ES_HOSTS:localhost:9300}
      index: ${ES_INDEX:zipkin}
      index-shards: ${ES_INDEX_SHARDS:5}
      index-replicas: ${ES_INDEX_REPLICAS:1}

2.3 sletuh+streaming+zipkin

這種方式通過spring cloud streaming將追蹤資訊傳送到zipkin。spring cloud streaming目前只有kafka和rabbitmq的binder。以kafka為例：

大體流程

1-1

Collector是原始碼的類名。Collector從訊息中介軟體中讀取資料並存儲到db和es中。

應用程式配置

maven引入
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-dependencies</artifactId>
	<version>Camden.SR6</version>
	<type>pom</type>
	<scope>import</scope>
</dependency>
<dependency>
   <groupId>org.springframework.cloud</groupId>
   <artifactId>spring-cloud-sleuth-stream</artifactId>
</dependency>
<dependency>
   <groupId>org.springframework.cloud</groupId>
   <artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>
<dependency>
   <groupId>org.springframework.cloud</groupId>
   <artifactId>spring-cloud-stream-binder-kafka</artifactId>
</dependency>

zipkin

maven引入
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-zipkin</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-stream-binder-kafka</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-sleuth-zipkin-stream</artifactId>
</dependency>
<dependency>
    <groupId>io.zipkin.java</groupId>
    <artifactId>zipkin-autoconfigure-ui</artifactId>
    <!--<version>1.40.2</version>-->
</dependency>
spring boot程式
1
2
3
4
5
6
7
8
9
10
11

@EnableZipkinStreamServer
@EnableBinding(SleuthSink.class)
@SpringBootApplication(exclude = SleuthStreamAutoConfiguration.class)
@MessageEndpoint
public class SleuthServerApplication
{
	public static void main(String[] args)
{
		SpringApplication.run(SleuthServerApplication.class, args);
	}
}
配置
1
2
3
4
5

stream:
  kafka:
    binder:
      brokers: xxx:9098,xxx:9098,xxx:9098
      zk-nodes: xxx:2186,xxx:2186,xxx:2186,xxx:2186,xxx:2186

儲存配置和上面的一樣。

3. sleuth支援

通過sleuth-core的jar包結構，可以很明顯的看出，sleuth可以進行鏈路追蹤的程式碼：

1-1

web下面包括http和feign。

3.1 http

可以通過spring.sleuth.web.enabled=false來禁止這種型別的鏈路追蹤。http支援實現的關鍵類是 TraceFilter和TraceHandlerInterceptor。

  • TraceFilter：對入站的請求加上X-B3-SpanId、X-B3-TraceId等屬性，來對請求進行鏈路追蹤。這時候，Span的名字為http:加上請求的路徑。例如，如果請求是/foo/bar，那span名字就是http:/foo/bar。
  • TraceHandlerInterceptor：如果需要對span名字進行進一步的控制，可以使用TraceHandlerInterceptor，它會對已有的HandlerInterceptor進行包裝，或者直接新增到已有的HandlerInterceptors中。TraceHandlerInterceptor會在HttpServletRequest中新增一個特別的request attribute。如果TraceFilter沒有發現這個屬性，就會建立一個額外的“fallback”（保底）span，這樣確保跟蹤資訊完整。

3.2 runnable、callable、Executor

可以通過 TraceRunnable 和 TraceCallable來對runnable和callable進行包裝。也可以用LazyTraceExecutor來代替java的Executor。比如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

@Autowired
private BeanFactory beanFactory;
private static final ExecutorService EXECUTOR = Executors.newFixedThreadPool(2);
@RequestMapping("/service1")
public String service1()
{

	Runnable runnable = () ->
	{
		try
		{
			Thread.sleep(1000);
		}
		catch (Exception e)
		{
			e.printStackTrace();
		}
	};
	Executor executor = new LazyTraceExecutor(beanFactory, EXECUTOR);
	executor.execute(runnable);
	return "hello world";
}

這樣每次執行都有span的新建和銷燬。通過LazyTraceExecutor原始碼可以很輕鬆的看到：

1
2
3
4
5
6
7
8
9
10

@Override
public void run() {
	Span span = startSpan();
	try {
		this.getDelegate().run();
	}
	finally {
		close(span);
	}
}

3.3 feign

預設情況下，Spring Cloud Sleuth提供了一個TraceFeignClientAutoConfiguration來整合Feign。如果需要禁用的話，可以設定spring.sleuth.feign.enabled為false。如果禁用，與Feign相關的機制就不會發生。

3.4 RxJava

建議自定義一個RxJavaSchedulersHook,它使用TraceAction來包裝例項中所有的Action0。這個鉤子物件，會根據之前排程的Action是否已經開始跟蹤，來決定是建立還是延續使用span。可以通過設定spring.sleuth.rxjava.schedulers.hook.enabled為false來關閉這個物件的使用。可以定義一組正則表示式來對執行緒名進行過濾，來選擇哪些執行緒不需要跟蹤。可以使用逗號分割的方式來配置spring.sleuth.rxjava.schedulers.ignoredthreads屬性。

3.5 messaging

Spring Cloud Sleuth本身就整合了Spring Integration。它釋出/訂閱事件都是會建立span。可以設定spring.sleuth.integration.enabled=false來禁用這個機制。

4 基本概念

因為sleuth是根據google的dapper論文而來的，所以用的術語和dapper一樣。

1-2

4.1 術語

  • span：最基本的工作單元。由spanId來標誌。Span也可以帶有其他資料，例如：描述，時間戳，鍵值對標籤，起始Span的ID，以及處理ID（通常使用IP地址）等等。 Span有起始和結束，他們跟蹤著時間資訊。span應該都是成對出現的，所以一旦建立了一個span，那就必須在未來某個時間點結束它。起始的span通常被稱為：root span。它的id通常也被作為一個跟蹤記錄的id。
  • traceId：一個樹結構的span集合。把相同traceId的span串起來。
  • annotation：用於記錄一個事件時間資訊。
    • cs：client send。客戶端傳送，一個span的開始
    • cr：client receive。客戶端接收。一個span的結束
    • ss：server send。伺服器傳送
    • sr：server receive。伺服器接收，開始處理。
    • sr-cs和cr-ss:表示網路傳輸時長
    • ss-sr:表示服務端處理請求的時長
    • cr-cs:表示請求的響應時長

4.2 取樣率

如果服務的流量很大，全部採集對儲存壓力比較大。這個時候可以設定取樣率，sleuth 可以通過設定 spring.sleuth.sampler.percentage=0.1。不配置的話，預設取樣率是0.1。也可以通過實現bean的方式來設定取樣為全部取樣(AlwaysSampler)或者不採樣(NeverSampler)：如

1
2
3

@Bean public Sampler defaultSampler() {
	return new AlwaysSampler();
}

sleuth取樣演算法的實現是 Reservoir sampling（水塘抽樣）。實現類是 PercentageBasedSampler。

4.3 traceId和spanId的生成問題

traceId和spanId的生成,sleuth是通過java 的Random類的nextLong方法生成的。這樣的話就存在traceId存在一樣的情況，不知道為什麼要這麼設計。

參考資料


相關推薦

Spring Cloud技術分析（3）- spring cloud sleuth

地址：http://tech.lede.com/1. 目的提供鏈路追蹤。通過sleuth可以很清楚的看出一個請求都經過了哪些服務。可以很方便的理清服務間的呼叫關係。視覺化錯誤。對於程式未捕捉的異常，可以在zipkin介面上看到。分析耗時。通過sleuth可以很方便的看出每個取

Spring Cloud技術分析（4）- spring cloud zuul

地址:http://tech.lede.com/    spring cloud zuul是netflix提供的一個元件，功能類似於nginx，用於反向代理，可以提供動態路由、監控、授權、安全、排程等邊緣服務。1. zuul是什麼微服務場景下，每一個微服務對外暴露了一組細粒度

Spring核心技術原理-（3）-Spring歷史版本變遷和如今的生態帝國

前幾篇： 前兩篇從Web開發史的角度介紹了我們在開發的時候遇到的一個個坑，然後一步步衍生出Spring Ioc和Spring AOP的概念雛形。Spring從2004年第一個正式版1.0 Final Released發展至今，儼然已經成為了一個生態帝國

Spring Cloud技術分析（1）——服務治理

地址：http://tech.lede.com/    本文作為系列的第一篇正文，從Spring Cloud中的核心專案Spring Cloud Netflix入手，闡述了Spring Cloud Netflix的優勢，介紹了Spring Cloud Netflix進行服務治

spring boot 學習筆記 （3） Spring Boot 對web的支援

JSON 的支援 JSON (JavaScript Object Notation) 是一種輕量級的資料交換格式，易於閱讀和編寫，同時也易於機器解析和生成。JSON 採用完全獨立於語言的文字格式，但是也使用了類似於 C 語言家族的習慣（包括 C、C++、C#、Java、JavaScript、Pe

App競品技術分析 （3）減小安裝包的體積

1 從幾件小事說起 　　春節在家幫姐姐的iPhone手機安裝市面上形形色色的App，忘記她是使用4G流量包月了，於是在下載了10個App後，不但耗盡了流量，還按照0.3元/兆的價格扣了七八十元流量費用。後來我檢查了這幾個App的體積，發現每個App體積都是40-50M的樣子

spring cloud學習筆記（3）-- ribbon和feign

1.ribbon客戶端負載均衡介紹及基本使用 負載均衡想必都是比較清除的，在伺服器端的負載均衡主要是通過Nginx實現： 那麼客戶端的負載均衡呢 Ribbon是一個實現了客戶端負載均衡的元件，Netflix開源的，其主要功能是提供客戶端側負載均衡 Ribbon客戶

spring cloud系列教程（3）----父專案，公共專案，部門提供/消費專案建立

給大家推薦個靠譜的公眾號程式設計師探索之路，大家一起加油 ​   要求知道，父，公共專案建立的意義。 父專案：所有子專案所用的jar包，版本號定義 公共專案：只需要在一個專案中定義實體等等所有專案都可以用 部門提供專案：簡單的一個springboot+myba

Spring Cloud微服務（3）之閘道器Zuul

1.介紹 古語有云：一夫當關，萬夫莫開。 閘道器Zuul就在系統中起到同樣的作用，它是系統的門戶、城市的關隘、公園的檢票口。 服務閘道器API Gateway可以有很多實現方法，如Nginx、Zuul，甚至是一個Node.js的服務端。它們最重要的作用是為前臺提供後臺服務的

Spring/Boot/Cloud系列知識（3）——代理模式（中）

2.2、代理模式在Spring中的應用 那麼java中基於java.lang.reflect.Proxy的動態代理模式和Spring生態有什麼關係呢？Spring中的所有Bean例項儲存在一個名叫IOC容器（Inversion of Control 控制反

spring---aop（3）---Spring AOP的攔截器鏈

ati handler 攔截器 odi hand zab chain 記載 封裝 寫在前面 　　時間斷斷續續，這次寫一點關於spring aop攔截器鏈的記載。至於如何獲取spring的攔截器，前一篇博客已經寫的很清楚（spring---aop（2）---Spring AO

Spring的IOC分析（二）源碼

width single def app ali instance exc net classpath 　　承接上節繼續，分析Ioc的工作原理，在典型的 IOC 場景中，容器創建了所有對象，並設置必要的屬性將它們連接在一起(同時一個叫DI“依賴註入”或DL“依賴查找”的概念

Spring 源碼分析（一）--整體架構和環境搭建

spring 事件傳播 com 之間 環境搭建 core模塊 batis bsp 元數據 本系統分析的spring源碼版本為4.3.8。 （一）整體架構 這些模塊被分為以下幾個部分 （1）Core Container Core容器（核心容器）包含Core，Bean

Spring 源碼分析（四）--自定義標簽的使用

div protected 不同 space xsd文件 不同的 handle body img 在之前的代碼分析中，Spring標簽的解析分為 默認標簽和自定義標簽兩種，前一篇文章分析了Spring中對默認標簽的解析過程。 本文將分析Spring中自定義標

Spring 源碼分析（六）--bean的加載整體分析

mean ash rep end on() 靈活性 available iat cleanup 通過前面的分析，我們結束了對XML配置文件的解析，接下來將進行bean加載的分析。對於加載bean的功能，在Spring中的調用方式為： 或者 MyTest

Spring 源碼分析（八）--容器的功能擴展

use abs 提取 ext troy sha 根據 idc owb 經過前面幾篇的分析，相信大家對Spring中容器功能有了簡單的了解，在前面的章節中我們一直以BeanFactory接口以及它的默認實現類XmlBeanFactory為例進行分析。但是，Spring

Spring 源碼分析（九）--AOP

see nbsp 完成 owa new util 定義 sep ret 我們知道，使用面向對象編程（OOP）有一些弊端，當需要為多個不具有繼承關系的對象引入同一個公共行為時，例如日誌，安全檢測等，我們只有在每個對象裏引用公共行為，這樣程序中就產生了大量的重復代碼，程

Spring源碼分析（五）獲取Document

規則 一個 自定義 trac tst nload indexof get t對象 摘要：本文結合《Spring源碼深度解析》來分析Spring 5.0.6版本的源代碼。若有描述錯誤之處，歡迎指正。 這一篇開始進行Document加載了，XmlBeanFactoryR

Spring源碼分析（八）AbstractBeanDefinition屬性

strac code 出現 shm main candidate 靜態變量 col aof 摘要：本文結合《Spring源碼深度解析》來分析Spring 5.0.6版本的源代碼。若有描述錯誤之處，歡迎指正。 在上一篇中已經完成了XML文檔到GenericBeanDe

Spring源碼分析（十）註冊解析的BeanDefinition

emp int style ash table 針對 全局變量 我們 名稱 摘要：本文結合《Spring源碼深度解析》來分析Spring 5.0.6版本的源代碼。若有描述錯誤之處，歡迎指正。 對配置文件解析完成後，獲取的beanDefiniton已經可以進行使用了，