高併發-【搶紅包案例】之一:SSM環境搭建及復現紅包超發問題
概述
電商的秒殺、搶購，春運搶票，微信QQ搶紅包，從技術的角度來說，這對於Web 系統是一個很大的考驗. 高併發場景下，系統的優化和穩定是至關重要的.
網際網路的開發包括 Java 後臺、 NoSQL、資料庫、限流、CDN、負載均衡等內容, 目前並沒有權威性的技術和設計，有的只是長期經驗的總結，但是使用這些經驗可以有效優化系統，提高系統的併發能力.
我們接下來的幾篇博文主要討論 Java 後臺、 NoSQL ( Redis ）和資料庫部分技術.
搶紅包案例
主要分以下幾大部分：
- 環境搭建
- 模擬超量傳送的場景-DataBase（MySql5.7）
- 悲觀鎖的實現版本-DataBase（MySql5.7）
- 樂觀鎖的實現版本-DataBase（MySql5.7）
- Redis實現搶紅包
案例關注點
模擬 20 萬元的紅包，共分為 2 萬個可搶的小紅包，有 3 萬人同時搶奪的場景 ，模擬出現超發和如何保證資料一致性的問題。
在高併發的場景下，除了資料的一致性外，還要關注效能的問題 ， 因為一般而言 ， 時間太長使用者體驗就會很差，所以要測試資料一致性和系統的效能 。
工程結構
庫表設計
MySql5.7
/*==============================================================*/
/* Table: 紅包表 */ 紅包表表示存放紅包的是一個大紅包的資訊，它會分為若干個小紅包，為了業務簡單，假設每一個紅包是等額的。而對於搶紅包而言，就是從大紅包中搶奪那些剩餘的小紅包，剩餘紅包數會被記錄在紅包表中。 兩個表有外來鍵關聯 T_RED_PACKET.id = T_USER_RED_PACKET.red_packet_id
/*==============================================================*/
/* Table: 使用者搶紅包表 */
/*==============================================================*/
create table T_USER_RED_PACKET
(
id int(12) not null auto_increment COMMENT '使用者搶到的紅包id',
red_packet_id int(12) not null COMMENT '紅包id',
user_id int(12) not null COMMENT '搶紅包使用者的id',
amount decimal(16,2) not null COMMENT '搶到的紅包金額',
grab_time timestamp not null DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '搶紅包時間',
note varchar(256) null COMMENT '備註',
primary key clustered (id)
);
/**
* 插入一個20萬元金額，2萬個小紅包，每個10元的紅包資料
*/
insert into T_RED_PACKET(user_id, amount, send_date, total, unit_amount, stock, note)
values(1, 200000.00, now(), 20000, 10.00, 20000,'20萬元金額，2萬個小紅包，每個10元');
commit;
這樣就建好了兩個表，並且將一個 20 萬元金額，2 萬個小紅包，每個 10 元的紅包資訊插入到了紅包表中,用作模擬資料。
Domain
有了這兩個表，我們就可以為這兩個表建兩個 POJO 了，讓這兩個表和 POJO 對應起來，這兩個 POJO 為 RedPacket 和 UserRedPacket，實現類序列化介面。
紅包資訊
package com.artisan.redpacket.pojo;
import java.io.Serializable;
import java.sql.Timestamp;
/**
*
*
* @ClassName: RedPacket
*
* @Description: 紅包表對應的實體類，可序列化
*
* @author: Mr.Yang
*
* @date: 2018年10月8日 下午3:42:58
*/
public class RedPacket implements Serializable {
private static final long serialVersionUID = 9036484563091364939L;
// 紅包編號
private Long id;
// 發紅包的使用者id
private Long userId;
// 紅包金額
private Double amount;
// 發紅包日期
private Timestamp sendDate;
// 紅包總數
private Integer total;
// 單個紅包的金額
private Double unitAmount;
// 紅包剩餘個數
private Integer stock;
// 版本（為後續擴充套件用）
private Integer version;
// 備註
private String note;
// 省略set/get
}
搶紅包資訊
package com.artisan.redpacket.pojo;
import java.io.Serializable;
import java.sql.Timestamp;
/**
*
*
* @ClassName: UserRedPacket
*
* @Description: 使用者搶紅包表
*
* @author: Mr.Yang
*
* @date: 2018年10月8日 下午3:47:40
*/
public class UserRedPacket implements Serializable {
private static final long serialVersionUID = 7049215937937620886L;
// 使用者紅包id
private Long id;
// 紅包id
private Long redPacketId;
// 搶紅包的使用者的id
private Long userId;
// 搶紅包金額
private Double amount;
// 搶紅包時間
private Timestamp grabTime;
// 備註
private String note;
// 省略set/get
}
Dao層實現
MyBatis Dao介面類及對應的Mapper檔案
使用 MyBatis 開發，先來完成大紅包資訊的查詢先來定義一個 DAO 物件
package com.artisan.redpacket.dao;
import org.springframework.stereotype.Repository;
import com.artisan.redpacket.pojo.RedPacket;
@Repository
public interface RedPacketDao {
/**
* 獲取紅包資訊.
* @param id --紅包id
* @return 紅包具體資訊
*/
public RedPacket getRedPacket(Long id);
/**
* 扣減搶紅包數.
* @param id -- 紅包id
* @return 更新記錄條數
*/
public int decreaseRedPacket(Long id);
}
其中的兩個方法 ， 一個是查詢紅包，另一個是扣減紅包庫存。
搶紅包的邏輯是，先查詢紅包的資訊，看其是否擁有存量可以扣減。如果有存量，那麼可以扣減它，否則就不扣減。
接著將對應的Mapper對映檔案編寫一下
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.artisan.redpacket.dao.RedPacketDao">
<!-- 查詢紅包具體資訊 -->
<select id="getRedPacket" parameterType="long"
resultType="com.artisan.redpacket.pojo.RedPacket">
select id, user_id as userId, amount, send_date as
sendDate, total,
unit_amount as unitAmount, stock, version, note from
T_RED_PACKET
where id = #{id}
</select>
<!-- 扣減搶紅包庫存 -->
<update id="decreaseRedPacket">
update T_RED_PACKET set stock = stock - 1 where id =
#{id}
</update>
</mapper>
這裡getRedPacket並沒有加鎖這類動作，目的是為了演示超發紅包的情況.
然後是搶紅包的設計了 ，先來定義插入搶紅包的 DAO ，緊接著是Mapper對映檔案
package com.artisan.redpacket.dao;
import org.springframework.stereotype.Repository;
import com.artisan.redpacket.pojo.UserRedPacket;
@Repository
public interface UserRedPacketDao {
/**
* 插入搶紅包資訊.
* @param userRedPacket ——搶紅包資訊
* @return 影響記錄數.
*/
public int grapRedPacket(UserRedPacket userRedPacket);
}
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.artisan.redpacket.dao.UserRedPacketDao">
<!-- 插入搶紅包資訊 -->
<insert id="grapRedPacket" useGeneratedKeys="true"
keyProperty="id" parameterType="com.artisan.redpacket.pojo.UserRedPacket">
insert into T_USER_RED_PACKET( red_packet_id, user_id, amount, grab_time, note)
values (#{redPacketId}, #{userId}, #{amount}, now(), #{note})
</insert>
</mapper>
這裡使用了 useGeneratedKeys 和 keyProperty，這就意味著會返回資料庫生成的主鍵資訊，這樣就可以拿到插入記錄的主鍵了 ， 關於 DAO 層就基本完成了。別忘了單元測試！！！
Service層實現
接下來定義兩個 Service 層介面，分別是 UserRedPacketService和RedPacketService
package com.artisan.redpacket.service;
import com.artisan.redpacket.pojo.RedPacket;
public interface RedPacketService {
/**
* 獲取紅包
* @param id ——編號
* @return 紅包資訊
*/
public RedPacket getRedPacket(Long id);
/**
* 扣減紅包
* @param id——編號
* @return 影響條數.
*/
public int decreaseRedPacket(Long id);
}
package com.artisan.redpacket.service;
public interface UserRedPacketService {
/**
* 儲存搶紅包資訊.
* @param redPacketId 紅包編號
* @param userId 搶紅包使用者編號
* @return 影響記錄數.
*/
public int grapRedPacket(Long redPacketId, Long userId);
}
實現類如下：
package com.artisan.redpacket.service.impl;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Isolation;
import org.springframework.transaction.annotation.Propagation;
import org.springframework.transaction.annotation.Transactional;
import com.artisan.redpacket.dao.RedPacketDao;
import com.artisan.redpacket.pojo.RedPacket;
import com.artisan.redpacket.service.RedPacketService;
@Service
public class RedPacketServiceImpl implements RedPacketService {
@Autowired
private RedPacketDao redPacketDao;
@Override
@Transactional(isolation=Isolation.READ_COMMITTED, propagation = Propagation.REQUIRED)
public RedPacket getRedPacket(Long id) {
return redPacketDao.getRedPacket(id);
}
@Override
@Transactional(isolation=Isolation.READ_COMMITTED, propagation = Propagation.REQUIRED)
public int decreaseRedPacket(Long id) {
return redPacketDao.decreaseRedPacket(id);
}
}
配置了事務註解＠Transactional ， 讓程式能夠在事務中執行，以保證資料的一致性 ， 這裡採用的是讀／寫提交的隔離級別 ， 之所以不採用更高的級別， 主要是提高資料庫的併發能力，而對於傳播行為則採用 Propagation.REQUIRED，這樣呼叫這個方法的時候，如果沒有事務則會建立事務， 如果有事務則沿用當前事務。
實現 UserRedPacketService 介面的方法 grapRedPacket，它是核心的介面方法
package com.artisan.redpacket.service.impl;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Isolation;
import org.springframework.transaction.annotation.Propagation;
import org.springframework.transaction.annotation.Transactional;
import com.artisan.redpacket.dao.RedPacketDao;
import com.artisan.redpacket.dao.UserRedPacketDao;
import com.artisan.redpacket.pojo.RedPacket;
import com.artisan.redpacket.pojo.UserRedPacket;
import com.artisan.redpacket.service.UserRedPacketService;
@Service
public class UserRedPacketServiceImpl implements UserRedPacketService {
// private Logger logger =
// LoggerFactory.getLogger(UserRedPacketServiceImpl.class);
@Autowired
private UserRedPacketDao userRedPacketDao;
@Autowired
private RedPacketDao redPacketDao;
// 失敗
private static final int FAILED = 0;
@Override
@Transactional(isolation = Isolation.READ_COMMITTED, propagation = Propagation.REQUIRED)
public int grapRedPacket(Long redPacketId, Long userId) {
// 獲取紅包資訊
RedPacket redPacket = redPacketDao.getRedPacket(redPacketId);
int leftRedPacket = redPacket.getStock();
// 當前小紅包庫存大於0
if (leftRedPacket > 0) {
redPacketDao.decreaseRedPacket(redPacketId);
// logger.info("剩餘Stock數量:{}", leftRedPacket);
// 生成搶紅包資訊
UserRedPacket userRedPacket = new UserRedPacket();
userRedPacket.setRedPacketId(redPacketId);
userRedPacket.setUserId(userId);
userRedPacket.setAmount(redPacket.getUnitAmount());
userRedPacket.setNote("redpacket- " + redPacketId);
// 插入搶紅包資訊
int result = userRedPacketDao.grapRedPacket(userRedPacket);
return result;
}
// logger.info("沒有紅包啦.....剩餘Stock數量:{}", leftRedPacket);
// 失敗返回
return FAILED;
}
}
grapRedPacket 方法的邏輯是首先獲取紅包資訊，如果發現紅包庫存大於 0，則說明還有紅包可搶，搶奪紅包並生成搶紅包的資訊將其儲存到資料庫中。要注意的是，資料庫事務方面的設定，程式碼中使用註解＠Transactional ， 說明它會在一個事務中執行，這樣就能夠保證所有的操作都是在一個事務中完成的。在高併發中會發生超發的現象，後面會看到超發的實際測試。
使用全註解搭建SSM 開發環境
我們這裡將使用註解的方式來完成 SSM 開發的環境，可以通過繼承 AbstractAnnotationConfigDispatcherServletlnitfal izer 去配置其他內 容，因此首先來配置 WebApplnitialize
package com.artisan.redpacket.config;
import javax.servlet.MultipartConfigElement;
import javax.servlet.ServletRegistration.Dynamic;
import org.springframework.web.servlet.support.AbstractAnnotationConfigDispatcherServletInitializer;
public class WebAppInitializer extends AbstractAnnotationConfigDispatcherServletInitializer {
// Spring IoC環境配置
@Override
protected Class<?>[] getRootConfigClasses() {
// 配置Spring IoC資源
return new Class<?>[] { RootConfig.class };
}
// DispatcherServlet環境配置
@Override
protected Class<?>[] getServletConfigClasses() {
// 載入Java配置類
return new Class<?>[] { WebConfig.class };
}
// DispatchServlet攔截請求配置
@Override
protected String[] getServletMappings() {
return new String[] { "*.do" };
}
/**
* @param dynamic
* Servlet上傳檔案配置.
*/
@Override
protected void customizeRegistration(Dynamic dynamic) {
// 配置上傳檔案路徑
String filepath = "D:/";
// 5MB
Long singleMax = (long) (5 * Math.pow(2, 20));
// 10MB
Long totalMax = (long) (10 * Math.pow(2, 20));
// 設定上傳檔案配置
dynamic.setMultipartConfig(new MultipartConfigElement(filepath, singleMax, totalMax, 0));
}
}
WebAppInitializer繼承了 AbstractAnnotationConfigDispatcherServletlnitializer， 重寫了 3 個抽象方法 ， 並且覆蓋了父類的 customizeRegistration 方法 ， 作為上傳檔案的配置。
- getRootConfigClasses 是一個配置 Spring IoC 容器的上下文配置 ， 此配置在程式碼中將會由類 RootConfig 完成
- getServletConfigClasses 配置 DispatcherServlet 上下文配置，將會由WebConfig完成
- getServletMappings 配置 DispatcherServlet 攔截 內 容 ， 這裡設定的是攔截所有以 .do 結尾的請求
通過這 3 個方法就可以配置 Web 工程中 的 Spring IoC 資源和 DispatcherServlet 的配置內容 ， 首先是配置 Spring IoC 容器，配置類 RootConfig
package com.artisan.redpacket.config;
import java.util.Properties;
import javax.sql.DataSource;
import org.apache.commons.dbcp2.BasicDataSourceFactory;
import org.mybatis.spring.SqlSessionFactoryBean;
import org.mybatis.spring.mapper.MapperScannerConfigurer;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.ComponentScan.Filter;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.FilterType;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.Resource;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;
import org.springframework.stereotype.Repository;
import org.springframework.stereotype.Service;
import org.springframework.transaction.PlatformTransactionManager;
import org.springframework.transaction.annotation.EnableTransactionManagement;
import org.springframework.transaction.annotation.TransactionManagementConfigurer;
@Configuration
//定義Spring 掃描的包
@ComponentScan(value= "com.*", includeFilters= {@Filter(type = FilterType.ANNOTATION, value ={Service.class})})
//使用事務驅動管理器
@EnableTransactionManagement
//實現介面TransactionManagementConfigurer，這樣可以配置註解驅動事務
public class RootConfig implements TransactionManagementConfigurer {
private DataSource dataSource = null;
/**
* 配置資料庫.
* @return 資料連線池
*/
@Bean(name = "dataSource")
public DataSource initDataSource() {
if (dataSource != null) {
return dataSource;
}
try {
Properties props = new Properties();
props.load(RootConfig.class.getClassLoader().getResourceAsStream("jdbc.properties"));
props.setProperty("driverClassName", props.getProperty("jdbc.driver"));
props.setProperty("url", props.getProperty("jdbc.url"));
props.setProperty("username", props.getProperty("jdbc.username"));
props.setProperty("password", props.getProperty("jdbc.password"));
dataSource = BasicDataSourceFactory.createDataSource(props);
} catch (
相關推薦
高併發-【搶紅包案例】之一:SSM環境搭建及復現紅包超發問題
概述
電商的秒殺、搶購，春運搶票，微信QQ搶紅包，從技術的角度來說，這對於Web 系統是一個很大的考驗. 高併發場景下，系統的優化和穩定是至關重要的.
網際網路的開發包括 Java 後臺、 NoSQL、資料庫、限流、CDN、負載均衡等內容, 目前並沒有權威性
高併發-「搶紅包案例」之一:SSM環境搭建及復現紅包超發問題
文章目錄
概述
搶紅包案例
案例關注點
工程結構
庫表設計
Domain
Dao層實現
Service層實現
使用全註解搭建SSM 開發環境
Controller層
View層
執行測試
超量傳送的BUG驗證
超發問題解決思路
概述
電商的秒殺、搶購，春運搶票，微信QQ搶
高併發-【搶紅包案例】之四:使用Redis+Lua指令碼實現搶紅包並非同步持久化到資料庫
文章目錄導讀概述
導讀
概述
上面三篇博文是使用的MySql資料庫來作為資料的載體資料最終會將資料儲存到磁碟中,而Redis使用的是記憶體，記憶體的速度比磁碟速度肯定要快很多.
對於使用 Redis實現搶紅包,首先需要知道的是Redis的功能不如資料庫
高併發-【搶紅包案例】之二:使用悲觀鎖方式修復紅包超發的bug
概述
高併發–【搶紅包案例分析和程式碼實現以及各種方案的優缺點】之一中使用ssm+mysql實現，存在併發超發問題，這裡我們使用悲觀鎖的方式來解決這個邏輯錯誤，並驗證資料一致性和效能狀況。
超發問題分析
針對這個案例，使用者搶到紅包後，紅包總量應-1，當多
【Spark核心原始碼】Spark原始碼環境搭建
目錄
準備條件
下載spark原始碼，並解壓
開啟spark原始碼下的pom.xml檔案，修改對應的java和intellij裡的maven版本
開啟intellij，Inport Project，將原始碼匯入intellij中
問題總結（十分重要）
Maven編譯打包前的準
【HBase】HBase的環境搭建及基本使用
1、HBase體系結構
2、HBase功能
HBase是一種Hadoop 資料庫，用於儲存資料和檢索資料。與RDBMS 相比，HBase可以儲存海量資料，資料條目數可達上億條，可以準實時檢索，檢索的速度達到秒級別。HBase是基於HDFS的，具有HDFS的優勢
Ext4.2.1學習歷程之一：環境搭建及Hello ExtJS4.2
原文出處 http://blog.itpub.net/28562677/viewspace-1066765/
1、從官網下載ExtJS4.2資源包，解壓開有原始碼、API文件、演示程式；
2、官網地址：http://www.sencha.com/products/e
Hadoop學習之一《環境搭建及配置》
問題？Hadoop學習之環境搭建及配置
一、搭建VMware Workstation Pro及CentOS環境
要學習hadoop環境的搭建肯定是必不可少的，如果你的電腦是 Linux系統，當然不用搭建此環節了，如果是在其他平臺上就需要一個虛擬環境VM及可在此環境下安裝C
Weex開發體驗之一：環境搭建及調測
搭建開發環境
參考文件
本機開發環境
windows7 64bit
搭建步驟
下載node
node包括javascript的執行環境和npm；
下載地址：https://nodejs.org/zh-cn/download/
安裝好後，檢測
高併發業務--------搶紅包模擬
(大概要講解的東西，待更新)
悲觀鎖
悲觀鎖，假定會發生併發衝突，在你開始改變此物件之前就將該物件給鎖住，直到更改之後再釋放鎖。
利用資料庫內部機制提供的鎖方法，也就是對更新的資料加鎖，這樣在併發期間一旦有一個事務持有了資料庫記錄的鎖，其他執行緒將不能對資料進行更新。
C++0x之高併發【如何使用併發】
什麼是併發併發是指多個獨立的任務同時進行。併發在我們的生活中隨處可見，如：走路的時候可以打電話，一邊唱歌一邊跳舞，小到原子（每個核外電子同時繞著原子核高速的運轉），大到宇宙各個天體按照自己的軌跡同時相互獨立的執行著這些都可以看作是併發。計算機世界的併發【單核CPU】單核系統上
訊息佇列處理高併發【轉】
用mq來將耗時比較長或者耗費資源的請求排隊，非同步處理，減輕伺服器壓力增加穩定性。如果是高併發的實時請求，我個人覺得不適用這個方案。如果是為了高併發，我覺得應該朝解決高併發的方向考慮。叢集、分散式、動靜分離、資料庫讀寫分離之類的。web的話，只能客戶端頁面輪訓處理結果。因為，據我個人瞭解啊，現在web沒有成熟
【ALB學習筆記】基於.NET環境的高頻RFID卡讀寫設備的基本操作案例
範例 write load rgs 顯示 職業 ner num cte 基於.NET環境的高頻RFID卡讀寫設備的基本操作案例
廣東職業技術學院 歐浩源
1、引言
RFID高頻卡在我們的日常生活中隨處可見，是物聯網應用中不可或缺的一個重要部分，也是全國職業
【文件監控】之一：理解 ReadDirectoryChangesW part1
包括 flow 重疊 翻譯 program 啟用 返回 線程 自然 理解 ReadDirectoryChangesW
原作者：Jim Beveridge
原文：http://qualapps.blogspot.com/2010/05/understanding-readd
貪心+高精度【洛谷P1080】
此篇文章的程式碼來自@Chlience，未經允許私自借用，十分不好意思。
題目連結：https://www.luogu.org/problemnew/show/P1080
拿到這個題目，我根本沒有注意到資料範圍竟然會超long long，真的是第一次做這種貪心題竟然需要寫高
【大資料技術】HBase基本知識介紹及典型案例分析
（1）分散式、多版本、面向列的開源資料庫
（2）支援上億行、百萬列；
（3）強一致性、高擴充套件、高可用
Hbase是一個強一致性資料庫，不是“最終一致性”資料庫。
HBase資料讀寫，更新的資料是放在Mems
【資料應用案例】摩拜騎行資料探勘違章停車
案例來源：@機器之心
作者：Tianfu He、Jie Bao、Ruiyuan Li、Sijie Ruan、Yanhua Li、Chao Tian、Yu Zheng
0. 背景：
隨著汽車保有量增加，停車位供不應求，違章停車現象增加。傳統的檢測違停的方式是交警巡
【資料應用案例】關係資料的隱私保護
案例來源：@關會華 阿里技術
0. 背景：
1）關係資料描述的是實體與實體之間的聯絡，如人與人之間的交際關係、企業與企業之間的關聯交易關係等。通過關係資料可以生成一張大網，也成為網路資料或者圖資料
2）關係資料的研究包括子群識別、資訊傳播、欺詐識
【資料應用案例】教神經網路寫漢字
案例來源：@新智元 @量子位
0. 背景：google公開了一個讓神經網路和你一起寫漢字的demo“Kanji-RNN”，你寫入漢字的前幾畫，神經網路補全成一個完成的“漢字”。
1. 目標：讓神經網路學會“漢字”的書寫
1）這裡的漢字不一定是
【資料應用案例】人群優選演算法模型，挖掘品牌潛客
案例來源：@阿里巴巴機器智慧
導讀：
為A電商做年貨節品牌營銷，目標是識別目標受眾，廣告投放後由“機會人群”轉向“興趣人群”的比例更高。
解決方案是：
第一步：多方向人群擴散。通過興趣偏好、品類偏好、競品受眾、搜尋人群、流失人群、lookalike人群 六個方