一起來學SpringBoot | 第十三篇:RabbitMQ延遲佇列
SpringBoot
是為了簡化Spring
應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程
初探RabbitMQ訊息佇列中介紹了RabbitMQ
的簡單用法,順帶提及了下延遲佇列的作用。所謂延時訊息
就是指當訊息被髮送以後,並不想讓消費者立即拿到訊息,而是等待指定時間後,消費者才拿到這個訊息進行消費。
延遲佇列
延遲佇列能做什麼?
- 訂單業務: 在電商/點餐中,都有下單後 30 分鐘內沒有付款,就自動取消訂單。
- 簡訊通知: 下單成功後 60s 之後給使用者傳送簡訊通知。
- 失敗重試: 業務操作失敗後,間隔一定的時間進行失敗重試。
這類業務的特點就是:非實時的,需要延遲處理,需要進行失敗重試。一種比較笨的方式是採用定時任務,輪訓資料庫,方法簡單好用,但效能底下,在高併發情況下容易弄死資料庫,間隔時間不好設定,時間過大,影響精度,過小影響效能,而且做不到按超時的時間順序處理。另一種就是用Java中的DelayQueue 位於java.util.concurrent包下,本質是由PriorityQueue和BlockingQueue實現的阻塞優先順序佇列。
,這玩意最大的問題就是不支援分散式與持久化
RabbitMQ 實現思路
Time-To-Live Extensions
RabbitMQ
支援為佇列或者訊息設定TTL(time to live 存活時間)。TTL表明了一條訊息可在佇列中存活的最大時間。當某條訊息被設定了TTL或者當某條訊息進入了設定了TTL的佇列時,這條訊息會在TTL時間後死亡
成為Dead Letter
。如果既配置了訊息的TTL,又配置了佇列的TTL,那麼較小的那個值會被取用。
Dead Letter Exchange
死信交換機
,上文中提到設定了 TTL 的訊息或佇列最終會成為Dead Letter
。如果為佇列設定了Dead Letter Exchange(DLX)
,那麼這些Dead Letter
就會被重新發送到Dead Letter Exchange
Dead Letter Exchange
路由到其他佇列,即可實現延遲佇列的功能。
匯入依賴
在 pom.xml
中新增 spring-boot-starter-amqp
的依賴
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.46</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
屬性配置
在 application.properties
檔案中配置rabbitmq
相關內容,值得注意的是這裡配置了手動ACK的開關
spring.rabbitmq.username=battcn
spring.rabbitmq.password=battcn
spring.rabbitmq.host=192.168.0.133
spring.rabbitmq.port=5672
spring.rabbitmq.virtual-host=/
# 手動ACK 不開啟自動ACK模式,目的是防止報錯後未正確處理訊息丟失 預設 為 none
spring.rabbitmq.listener.simple.acknowledge-mode=manual
具體編碼
定義佇列
如果手動建立過或者RabbitMQ
中已經存在該佇列那麼也可以省略下述程式碼…
package com.battcn.config;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CachingConnectionFactory;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.util.HashMap;
import java.util.Map;
/**
* RabbitMQ配置
*
* @author Levin
* @since 2018/4/11 0011
*/
@Configuration
public class RabbitConfig {
private static final Logger log = LoggerFactory.getLogger(RabbitConfig.class);
@Bean
public RabbitTemplate rabbitTemplate(CachingConnectionFactory connectionFactory) {
connectionFactory.setPublisherConfirms(true);
connectionFactory.setPublisherReturns(true);
RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);
rabbitTemplate.setMandatory(true);
rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> log.info("訊息傳送成功:correlationData({}),ack({}),cause({})", correlationData, ack, cause));
rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> log.info("訊息丟失:exchange({}),route({}),replyCode({}),replyText({}),message:{}", exchange, routingKey, replyCode, replyText, message));
return rabbitTemplate;
}
/**
* 延遲佇列 TTL 名稱
*/
private static final String REGISTER_DELAY_QUEUE = "dev.book.register.delay.queue";
/**
* DLX,dead letter傳送到的 exchange
* TODO 此處的 exchange 很重要,具體訊息就是傳送到該交換機的
*/
public static final String REGISTER_DELAY_EXCHANGE = "dev.book.register.delay.exchange";
/**
* routing key 名稱
* TODO 此處的 routingKey 很重要要,具體訊息傳送在該 routingKey 的
*/
public static final String DELAY_ROUTING_KEY = "";
public static final String REGISTER_QUEUE_NAME = "dev.book.register.queue";
public static final String REGISTER_EXCHANGE_NAME = "dev.book.register.exchange";
public static final String ROUTING_KEY = "all";
/**
* 延遲佇列配置
* <p>
* 1、params.put("x-message-ttl", 5 * 1000);
* TODO 第一種方式是直接設定 Queue 延遲時間 但如果直接給佇列設定過期時間,這種做法不是很靈活,(當然二者是相容的,預設是時間小的優先)
* 2、rabbitTemplate.convertAndSend(book, message -> {
* message.getMessageProperties().setExpiration(2 * 1000 + "");
* return message;
* });
* TODO 第二種就是每次傳送訊息動態設定延遲時間,這樣我們可以靈活控制
**/
@Bean
public Queue delayProcessQueue() {
Map<String, Object> params = new HashMap<>();
// x-dead-letter-exchange 聲明瞭佇列裡的死信轉發到的DLX名稱,
params.put("x-dead-letter-exchange", REGISTER_EXCHANGE_NAME);
// x-dead-letter-routing-key 聲明瞭這些死信在轉發時攜帶的 routing-key 名稱。
params.put("x-dead-letter-routing-key", ROUTING_KEY);
return new Queue(REGISTER_DELAY_QUEUE, true, false, false, params);
}
/**
* 需要將一個佇列繫結到交換機上,要求該訊息與一個特定的路由鍵完全匹配。
* 這是一個完整的匹配。如果一個佇列繫結到該交換機上要求路由鍵 “dog”,則只有被標記為“dog”的訊息才被轉發,不會轉發dog.puppy,也不會轉發dog.guard,只會轉發dog。
* TODO 它不像 TopicExchange 那樣可以使用萬用字元適配多個
*
* @return DirectExchange
*/
@Bean
public DirectExchange delayExchange() {
return new DirectExchange(REGISTER_DELAY_EXCHANGE);
}
@Bean
public Binding dlxBinding() {
return BindingBuilder.bind(delayProcessQueue()).to(delayExchange()).with(DELAY_ROUTING_KEY);
}
@Bean
public Queue registerBookQueue() {
return new Queue(REGISTER_QUEUE_NAME, true);
}
/**
* 將路由鍵和某模式進行匹配。此時佇列需要繫結要一個模式上。
* 符號“#”匹配一個或多個詞,符號“*”匹配不多不少一個詞。因此“audit.#”能夠匹配到“audit.irs.corporate”,但是“audit.*” 只會匹配到“audit.irs”。
**/
@Bean
public TopicExchange registerBookTopicExchange() {
return new TopicExchange(REGISTER_EXCHANGE_NAME);
}
@Bean
public Binding registerBookBinding() {
// TODO 如果要讓延遲佇列之間有關聯,這裡的 routingKey 和 繫結的交換機很關鍵
return BindingBuilder.bind(registerBookQueue()).to(registerBookTopicExchange()).with(ROUTING_KEY);
}
}
實體類
建立一個Book
類
public class Book implements java.io.Serializable {
private static final long serialVersionUID = -2164058270260403154L;
private String id;
private String name;
// 省略get set ...
}
控制器
編寫一個Controller
類,用於訊息傳送工作,同時為了看到測試效果,新增日誌輸出,將傳送訊息的時間記錄下來..
package com.battcn.controller;
import com.battcn.config.RabbitConfig;
import com.battcn.entity.Book;
import com.battcn.handler.BookHandler;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.support.converter.AbstractJavaTypeMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
import java.time.LocalDateTime;
/**
* @author Levin
* @since 2018/4/2 0002
*/
@RestController
@RequestMapping(value = "/books")
public class BookController {
private static final Logger log = LoggerFactory.getLogger(BookController.class);
private final RabbitTemplate rabbitTemplate;
@Autowired
public BookController(RabbitTemplate rabbitTemplate) {
this.rabbitTemplate = rabbitTemplate;
}
/**
* this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book); 對應 {@link BookHandler#listenerDelayQueue}
*/
@GetMapping
public void defaultMessage() {
Book book = new Book();
book.setId("1");
book.setName("一起來學Spring Boot");
// 新增延時佇列
this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book, message -> {
// TODO 第一句是可要可不要,根據自己需要自行處理
message.getMessageProperties().setHeader(AbstractJavaTypeMapper.DEFAULT_CONTENT_CLASSID_FIELD_NAME, Book.class.getName());
// TODO 如果配置了 params.put("x-message-ttl", 5 * 1000); 那麼這一句也可以省略,具體根據業務需要是宣告 Queue 的時候就指定好延遲時間還是在傳送自己控制時間
message.getMessageProperties().setExpiration(5 * 1000 + "");
return message;
});
log.info("[傳送時間] - [{}]", LocalDateTime.now());
}
}
訊息消費者
預設情況下 spring-boot-data-amqp
是自動ACK
機制,就意味著 MQ 會在訊息消費完畢後自動幫我們去ACK,這樣依賴就存在這樣一個問題:如果報錯了,訊息不會丟失,會無限迴圈消費,很容易就吧磁碟空間耗完,雖然可以配置消費的次數但這種做法也有失優雅。目前比較推薦的就是我們手動ACK
然後將消費錯誤的訊息轉移到其它的訊息佇列中,做補償處理。 由於我們需要手動控制ACK
,因此下面監聽完訊息後需要呼叫basicAck
通知rabbitmq
訊息已被正確消費,可以將遠端佇列中的訊息刪除
package com.battcn.handler;
import com.battcn.config.RabbitConfig;
import com.battcn.entity.Book;
import com.rabbitmq.client.Channel;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
import java.io.IOException;
import java.time.LocalDateTime;
/**
* BOOK_QUEUE 消費者
*
* @author Levin
* @since 2018/4/11 0011
*/
@Component
public class BookHandler {
private static final Logger log = LoggerFactory.getLogger(BookHandler.class);
@RabbitListener(queues = {RabbitConfig.REGISTER_QUEUE_NAME})
public void listenerDelayQueue(Book book, Message message, Channel channel) {
log.info("[listenerDelayQueue 監聽的訊息] - [消費時間] - [{}] - [{}]", LocalDateTime.now(), book.toString());
try {
// TODO 通知 MQ 訊息已被成功消費,可以ACK了
channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
} catch (IOException e) {
// TODO 如果報錯了,那麼我們可以進行容錯處理,比如轉移當前訊息進入其它佇列
}
}
}
主函式
package com.battcn;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
/**
* @author Levin
*/
@SpringBootApplication
public class Chapter12Application {
public static void main(String[] args) {
SpringApplication.run(Chapter12Application.class, args);
}
}
測試
完成準備事項後,啟動Chapter12Application
訪問 http://localhost:8080/books 將會看到如下內容,就代表一切正常….
2018-05-23 19:56:36.248 INFO 29048 --- [nio-8080-exec-1] com.battcn.controller.BookController : [傳送時間] - [2018-05-23T19:56:36.248]
2018-05-23 19:56:41.256 INFO 29048 --- [cTaskExecutor-1] com.battcn.handler.BookHandler : [listenerDelayQueue 監聽的訊息] - [消費時間] - [2018-05-23T19:56:41.256] - [Book{id='1', name='一起來學Spring Boot'}]
總結
目前很多大佬都寫過關於 SpringBoot
的教程了,如有雷同,請多多包涵,本教程基於最新的 spring-boot-starter-parent:2.0.2.RELEASE
編寫,包括新版本的特性都會一起介紹…
說點什麼
- 個人QQ:1837307557
- battcn開源群(適合新手):391619659
- 微信公眾號(歡迎調戲):
battcn
相關推薦
一起來學SpringBoot | 第十三篇:RabbitMQ延遲佇列
SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程 初探Rabbi
一起來學SpringBoot | 第二十三篇:輕鬆搞定重複提交(分散式鎖)
SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程 在 一起來學S
一起來學SpringBoot | 第十四篇:強大的 actuator 服務監控與管理
SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程 actuato
一起來學SpringBoot | 第十一篇:整合Swagger線上除錯
SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程 隨著網際網路技
一起來學SpringBoot | 第十五篇:actuator與spring-boot-admin 可以說的祕密
SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程 一起來學Spr
一起來學SpringBoot | 第十九篇:輕鬆搞定資料驗證(一)
SpringBoot是為了簡化Spring應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程 對於任何一個
SpringBoot第十三篇:日誌處理
作者:追夢1819 原文:https://www.cnblogs.com/yanfei1819/p/10973583.html 版權宣告:本文為博主原創文章,轉載請附上博文連結! 引言 日誌是軟體系統的“基礎設施”,它可以幫助我們瞭解系統的執行軌跡,查詢系統的執行異常等。很多人都沒有引起對日誌的重視。
跟我學SpringCloud | 第十三篇:Spring Cloud Gateway服務化和過濾器
SpringCloud系列教程 | 第十三篇:Spring Cloud Gateway服務化和過濾器 Springboot: 2.1.6.RELEASE SpringCloud: Greenwich.SR1 如無特殊說明,本系列教程全採用以上版本 上一篇文章服務閘道器 Spring Cloud G
一起來學SpringBoot | 第一篇:構建第一個SpringBoot工程
文章目錄 1. 設計的目標 2. 前提 3. 建立專案 3.1. 目錄結果 3.2. pom.xml 依賴 3.3. 主函式入口 3.4. 初窺配置檔案 3.5. 測試 4. 拓展知識 4.1. 自定義Banner 5. 總結 6. 說點什麼
一起來學 SpringBoot 2.x | 第七篇:整合 Mybatis
點選上方“芋道原始碼”,選擇“置頂公眾號”技術文章第一時間送達!原始碼精品專欄 摘要: 原創出處
一起來學SpringBoot | 第二篇:SpringBoot配置詳解
文章目錄 自定義屬性配置 自定義檔案配置 多環境化配置 外部命令引導 總結 說點什麼 SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配
一起來學SpringBoot | 第二十六篇:輕鬆搞定安全框架(Shiro)
SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程 Shiro 是
SpringBoot非官方教程 | 第十三篇:springboot整合spring cache
本文介紹如何在springboot中使用預設的spring cache, 宣告式快取 Spring 定義 CacheManager 和 Cache 介面用來統一不同的快取技術。例如 JCache、 EhCache、 Hazelcast、 Guava、 Redi
史上最簡單的SpringCloud教程 | 第十三篇: 斷路器聚合監控(Hystrix Turbine)
打開 jsb cli fill alt 數據 需要 eap south 當我們有很多個服務的時候,這就需要聚合所以服務的Hystrix Dashboard的數據了。這就需要用到Spring Cloud的另一個組件了,即Hystrix Turbine。 看單個的Hystri
一起來學SpringBoot ——JDK8 日期格式化
為什麼要用新的日期型別 在 JDK8 中,一個新的重要特性就是引入了全新的時間和日期API,它被收錄在 java.time 包中。藉助新的時間和日期API可以以更簡潔的方法處理時間和日期。 在 JDK8 之前,所有關於時間和日期的API存在以
精通SpringBoot——第七篇:整合Redis實現快取
專案中用到快取是很常見的事情, 快取能夠提升系統訪問的速度,減輕對資料庫的壓力等好處。今天我們來講講怎麼在spring boot 中整合redis 實現對資料庫查詢結果的快取。 首先第一步要做的就是在pom.xml檔案新增spring-boot-starter-data-redis。 要整合快取,必
從零開始學產品第七篇:常用的功能模組有哪些
一個系統中都有哪些模組組成,對於初學者來說,可能還不能夠區分的很清楚。 但是仔細回想一下,是不是幾乎所有的功能都有登入和註冊的功能? 啟動頁,Banner,輪播,個人中心,關於我們,意見反饋,設定,忘記密碼,支付,地圖,等等等等。 這些都是屬於一個系統裡很常見的功能
從零開始學產品第六篇:更強大的測試,自動化測試和效能測試
本篇為【從零開始學產品】系列課第1章第5節 歡迎到公眾號選單欄,獲取產品經理課程更多資料 “測試就是拿點滑鼠在電腦上瞎點,或者是用手機隨便戳幾下麼?” “不,是有計劃有意圖的測試,比如說,邊界測試,隨機測試,端到端測試等等。
從零開始學產品第五篇:三個環境,開發、測試和線上
本篇為【從零開始學產品】系列課第1章第4節 歡迎到公眾號選單欄,獲取產品經理課程更多資料 上節課我們說到了,Bug的生命週期,而只有在測試環境和線上環境發現的Bug,才會被稱之為Bug。 倒底什麼是測試環境,什麼是線上環境,
從零開始學產品第四篇:BUG的生命週期
本篇為【從零開始學產品】系列課第1章第3節 歡迎到公眾號選單欄,獲取產品經理課程更多資料 “從開始到死亡,這是世間萬物的宿命嗎?” “是的,連Bug都如此。” --摘自【修真神界】第三千六百五十一章 為了女神寫Bug