2. 程式人生 > >資料庫讀寫分離與事務糾纏的那點坑

資料庫讀寫分離與事務糾纏的那點坑

阿新 • • 發佈：2018-12-18

本篇文章討論在資料庫讀寫分離時使用事務的那些坑：

1. 在讀寫分離時會不會造成事務主從切換錯誤

一個執行緒在Serivcie時Select時選擇的是從庫，DynamicDataSourceHolder中ThreadLocal對應執行緒儲存的是slave，然後呼叫Manager時進入事務，事務使用預設的transacatinManager關聯的dataSource，而此時會不會獲取到的是slave？

2. 事務隔離級別和傳播特性會不會影響資料連線池死鎖

一個執行緒在Service層Select資料會從資料庫獲取一個Connection，通常來講，後續DB的操作在同一線執行緒會複用這個DB Connection，但是從Service進入Manager的事務後，Get Seq獲取全域性唯一標識，所以Get Seq一般都會開啟新的事物從DB Pool裡重新獲取一個新連線進行操作，但是問題是如果兩個事務關聯的datasource是同一個，即DB Pool是同一個，那麼如果DB Pool已經為空，是否會造成死鎖？

為了減輕資料庫的壓力，一般會進行資料庫的讀寫分離，實現方法一是通過分析sql語句是insert/select/update/delete中的哪一種，從而對應選擇主從，二是通過攔截方法名稱的方式來決定主從的，如：save*()、insert*() 形式的方法使用master庫，select()開頭的使用slave庫。

通常在方法上標上自定義標籤來選擇主從。

1

2

@DataSource("slave")

int queryForCount(OrderQueryCondition queryCondition);

或者通過攔截器動態選擇主從。

1

2

3

4

5

6

7

8

<property name="methodType">

<map key-type="java.lang.String">

<!-- read -->

<entry key="master" value="find,get,select,count,list,query,stat,show,mine,all,rank,fetch"/>

<!-- write -->

<entry

 key="slave" value="save,insert,add,create,update,delete,remove,gain"/>

</map>

</property>

讀寫動態庫配置   

1

2

3

4

5

6

7

8

9

10

<bean id="fwmarketDataSource" class="com.jd.fwmarket.datasource.DynamicDataSource" lazy-init="true">

<property name="targetDataSources">

<map key-type="java.lang.String">

<entry key="master" value-ref="masterDB"/>

<entry key="slave" value-ref="slaveDB"/>

</map>

</property>

<!-- 設定預設的資料來源，這裡預設走寫庫 -->

<property name="defaultTargetDataSource" ref="masterDB"/>

</bean>

DynamicDataSource：

定義動態資料來源，實現通過整合Spring提供的AbstractRoutingDataSource，只需要實現determineCurrentLookupKey方法即可，由於DynamicDataSource是單例的，執行緒不安全的，所以採用ThreadLocal保證執行緒安全，由DynamicDataSourceHolder完成。

1

2

3

4

5

6

7

public class DynamicDataSource extends AbstractRoutingDataSource {

@Override

protected Object determineCurrentLookupKey() {

// 使用DynamicDataSourceHolder保證執行緒安全，並且得到當前執行緒中的資料來源key

return DynamicDataSourceHolder.getDataSourceKey();

}

}

DynamicDataSourceHolder類：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

public class DynamicDataSourceHolder {

// 寫庫對應的資料來源key

private static final String MASTER= "master";

// 讀庫對應的資料來源key

private static final String SLAVE = "slave";

// 使用ThreadLocal記錄當前執行緒的資料來源key

private static final ThreadLocal<String> holder = new ThreadLocal<String>();

public static void putDataSourceKey(String key) {

holder.set(key);

}

public static String getDataSourceKey() {

return holder.get();

}

public static void markDBMaster(){

putDataSourceKey(MASTER);

}

public static void markDBSlave(){

putDataSourceKey(SLAVE);

}

public static void markClear(){

putDataSourceKey(null);

}

}

動態設定資料來源可以通過Spring AOP來實現，而AOP切面的方式也有很多種。

Spring AOP的原理：Spring AOP採用動態代理實現，在Spring容器中的bean會被代理物件代替，代理物件里加入了增強邏輯，當呼叫代理物件的方法時，目標物件的方法就會被攔截。

事務切面和讀/寫庫選擇切面

1

2

3

4

5

6

7

8

9

<bean id="dataSourceAspect" class="com.jd.fwmarket.service.datasource.DataSourceAspect"/>

<aop:config>

<aop:pointcut id="txPointcut" expression="execution(* com.jd.fwmarket.dao..*Impl.*(..))"/>

<!-- 將切面應用到自定義的切面處理器上，-9999保證該切面優先順序最高執行 -->

<aop:aspect ref="dataSourceAspect" order="-9999">

<aop:before method="before" pointcut-ref="txPointcut"/>

<aop:after method="after" pointcut-ref="txPointcut"/>

</aop:aspect>

</aop:config>

Java邏輯：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

public class DataSourceAspect {

private static final String[] defaultSlaveMethodStart 

= new String[]{"query", "find", "get", "select", "count", "list"};

/**

* 在進入Dao方法之前執行

*

* @param point 切面物件

*/

public void before(JoinPoint point) {

String methodName = point.getSignature().getName();

boolean isSlave = isSlave(methodName);

if (isSlave) {

DynamicDataSourceHolder.markDBSlave();

} else {

DynamicDataSourceHolder.markDBMaster();

}

}

public void after(){

DynamicDataSourceHolder.markClear();

}

}

使用BeanNameAutoProxyCreator建立代理

1

2

3

4

5

6

7

8

9

10

11

12

13

14

<bean id="MySqlDaoSourceInterceptor" class="com.jd.fwmarket.dao.aop.DaoSourceInterceptor">

<property name="dbType" value="mysql"/>

<property name="packageName" value="com.jd.fwmarket"/>

</bean>

<bean class="org.springframework.aop.framework.autoproxy.BeanNameAutoProxyCreator">

<property name="beanNames">

<value>*Mapper</value>

</property>

<property name="interceptorNames">

<list>

<value>MySqlDaoSourceInterceptor</value>

</list>

</property>

</bean>

Java邏輯：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

public class DaoSourceInterceptor implements MethodInterceptor {

public Object invoke(MethodInvocation invocation) throws Throwable {

dataSourceAspect(invocation);

Object result = invocation.proceed();

DataSourceHandler.putDataSource(null);

return result;

}

private void dataSourceAspect(MethodInvocation invocation) {

String method = invocation.getMethod().getName();

for (String key : ChooseDataSource.METHOD_TYPE_MAP.keySet()) {

for (String type : ChooseDataSource.METHOD_TYPE_MAP.get(key)) {

if (method.startsWith(type)) {

DataSourceHandler.putDataSource(key);

return;

}

}

}

}

}

Spring的事務處理為了與資料訪問解耦，它提供了一套處理資料資源的機制，而這個機制採用ThreadLocal的方式。

事務管理器

Spring中通常通過@Transactional來宣告使用事務。如果@Transactional不指定事務管理器，使用預設。注意如果Spring容器中定義了兩個事務管理器，@Transactional標註是不支援區分使用哪個事務管理器的，Spring 3.0之後的版本Transactional增加了個string型別的value屬性來特殊指定加以區分。

1

2

3

4

5

@Transactional

public int insertEntryCreateId(UrpMenu urpMenu) {

urpMenu.setMId(this.sequenceUtil.get(SequenceConstants.MARKET_URP_MENU));

return super.insertEntryCreateId(urpMenu);

}

同時進行XML配置

1

2

3

4

5

<tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/>

<bean id="transactionManager" 

class="org.springframework.jdbc.datasource.DataSourceTransactionManager">

<property name="dataSource" ref="fwmarketDataSource"/>

</bean>

其中dataSource是在Spring配置檔案中定義的資料來源的物件例項。transaction-manager屬性儲存一個對在Spring配置檔案中定義的事務管理器bean的引用，如果沒有它，就會忽略@Transactional註釋，導致程式碼不會使用任何事務。proxy-target-class控制是基於介面的還是基於類的代理被建立，如果屬性值被設定為true，那麼基於類的代理將起作用，如果屬性值為false或者被省略，那麼標準的JDK基於介面的代理將起作用。

注意@Transactional建議在具體的類（或類的方法）上使用，不要使用在類所要實現的任何介面上。

（推薦閱讀：Spring事務隔離級別和傳播特性 http://www.cnblogs.com/zhishan/p/3195219.html）

SQL四類隔離級別

事務的實現是基於資料庫的儲存引擎。不同的儲存引擎對事務的支援程度不一樣。Mysql中支援事務的儲存引擎有InnoDB和NDB。InnoDB是mysql預設的儲存引擎，預設的隔離級別是RR（Repeatable Read）。

事務的隔離性是通過鎖實現，而事務的原子性、一致性和永續性則是通過事務日誌實現。

（推薦閱讀：資料庫事務與MySQL事務總結 https://zhuanlan.zhihu.com/p/29166694）

Q1 在讀寫分離時會不會造成事務主從切換錯誤

一個執行緒在Serivcie時Select時選擇的是從庫，DynamicDataSourceHolder中ThreadLocal對應執行緒儲存的是slave，然後呼叫Manager時進入事務，事務使用預設的transacatinManager關聯的dataSource，而此時會不會獲取到的是slave？

經驗證不會，但這是因為在AOP設定動態織出的時候，都要清空DynamicDataSourceHolder的ThreadLocal，如此避免了資料庫事務傳播行為影響的主從切換錯誤。如果Selelct DB從庫完成之後不清空ThreadLocal，那麼ThreadLocal跟執行緒繫結就會傳播到Transaction，造成事務操作從庫異常。而清空ThreadLocal之後，Spring的事務攔截先於動態資料來源的判斷，所以事務會切換成主庫，即使事務中再有查詢從庫的操作，也不會造成主庫事務異常。

Q2 事務隔離級別和傳播特性會不會影響資料連線池死鎖

一個執行緒在Service層Select資料會從資料庫獲取一個Connection，通常來講，後續DB的操作在同一線執行緒會複用這個DB Connection，但是從Service進入Manager的事務後，Get Seq獲取全域性唯一標識，所以Get Seq一般都會開啟新的事物從DB Pool裡重新獲取一個新連線進行操作，但是問題是如果兩個事務關聯的datasource是同一個，即DB Pool是同一個，那麼如果DB Pool已經為空，是否會造成死鎖？

經驗證會死鎖，所以在實踐過程中，如果有此實現，建議Get Seq不要使用與事務同一個連線池。或者採用事務隔離級別設定PROPAGATION_REQUIRES_NEW進行處理。最優的實踐是宎把Get SeqId放到事務裡處理。

架構視訊學習

分享一些架構學習的視訊資料，想要的可以自己去領取。

阿里P8架構師細分的架構體系：高效能+微服務+開源框架+架構築基

當然還有更多，這邊就不一一列舉了，你如果覺得你能全部吃下，也不擋著你要到更多。

歡迎加入Java高階架構學習交流群：939420159 本群提供免費的學習指導 架構資料 以及免費的解答 不懂得問題都可以在本群提出來 之後還會有職業生涯規劃以及面試指導 進群修改群備註：開發年限-地區-經驗 方便架構師解答問題 免費領取架構師全套視訊！！！！！！！！

相關推薦

資料庫讀寫分離與事務糾纏的那點坑

本篇文章討論在資料庫讀寫分離時使用事務的那些坑： 1. 在讀寫分離時會不會造成事務主從切換錯誤 一個執行緒在Serivcie時Select時選擇的是從庫，DynamicDataSourceHolder中ThreadLocal對應執行緒儲存的是slave，然後呼叫Manag

看京東架構師如何解決，數據庫讀寫分離與事務糾纏的坑

Java 架構師 微服務 源碼分析 本篇文章討論在數據庫讀寫分離時使用事務的那些坑：1. 在讀寫分離時會不會造成事務主從切換錯誤一個線程在Serivcie時Select時選擇的是從庫，DynamicDataSourceHolder中ThreadLocal對應線程存儲的是slave，然後調用Ma

資料庫讀寫分離-springboot事務配置篇

spring事務配置見：https://blog.csdn.net/andyzhaojianhui/article/details/74357100?locationNum=9&fps=1根據這篇文章做了一些修改以適用於springboot專案，可能還有一些未知問題，

Mysql讀寫分離與主從資料庫設定方案

何謂讀寫分離? Mysql無非四個功能:增,刪,改,讀.而將增刪改和讀分離操作.這樣有利於提高系統性能. 試著想想,進搬退改貨又賣貨改成了前門只賣貨,其它去後門.這樣是不是就很清晰了? 往往看起來高大上的東西,做起來也是挺簡單的. 下面是寫給小白的,都是非常直觀的操作. 1.配置: 兩臺

讀寫分離與主從資料庫

主從資料庫：主要是資料上的讀寫分離； 資料庫的讀寫分離的好處？1. 將讀操作和寫操作分離到不同的資料庫上，避免主伺服器出現效能瓶頸；2. 主伺服器進行寫操作時，不影響查詢應用伺服器的查詢效能，降低阻塞，提高併發；3. 資料擁有多個容災副本，提高資料安全性，同時當主伺服器故障時，可立即切換到其他伺服器，提高系統

Mycat - 實現資料庫的讀寫分離與高可用

前言 　　開心一刻 　　　　上語文課，不小心睡著了，坐在邊上的同桌突然叫醒了我，並小聲說道：“讀課文第三段”。我立馬起身大聲讀了起來。正在黑板寫字的老師嚇了一跳，老師鬱悶的看著我，問道：“同學有什麼問題嗎？”，我貌似知道了什麼，蛋定的說了一句：“這段寫的真好！我給大夥念念！”，老師還較真了：“你說說看，好

大型網站負載均衡，分散式與資料庫讀寫分離的一些思路

          資料庫方面：               將一個網站的不同業務分到不同的表，按功能對錶進行細化。               如果是多個網站，多個埠（如PC端，APP端）連結到同一個資料庫，對多種方式訪問的共同資料專門提出來，成為公共資源，專門放到

mysql主從復制讀寫分離與高可用配置

mysql主從復制 mysql讀寫分離 一、說明 前面我們說了mysql的安裝配置(並提供一鍵安裝腳本),mysql語句使用以及備份恢復mysql數據;本次要介紹的是mysql的主從復制,讀寫分離;及高可用MHA;環境如下:master:CentOS7_x64 mysql5.721 172.16.

Mycat簡單實現讀寫分離與分庫分表

mycatMycat數據庫讀寫分離 環境： 客戶端1.13 ↓ mycat中間件1.11 ↙ ↘ master主機1.12 slave主機1.10 一、master主機（

Mycat讀寫分離以及拆庫拆表綜合實驗2：部署配置mycat讀寫分離與拆庫拆表

mycat mysql 讀寫分離 拆庫拆表 部署 mycat mycat基於java運行，檢查java版本 [root@node119 ~]# java -version openjdk version "1.8.0_171" OpenJDK Runtime Environment (buil

讀寫分離與主從數據庫

主服務器 基本 原理 事務性 出現 性能 擁有 副本 pda 主從數據庫：主要是數據上的讀寫分離； 數據庫的讀寫分離的好處？1. 將讀操作和寫操作分離到不同的數據庫上，避免主服務器出現性能瓶頸；2. 主服務器進行寫操作時，不影響查詢應用服務器的查詢性能，降低阻塞，提高並發；

mysql proxy 資料庫讀寫分離字符集亂碼

  mysql proxy 資料庫讀寫分離字符集亂碼    解決辦法 在對應配置後端資料庫伺服器的配置.cnf中加入如下程式碼 init-connect='SET NAME UTF8' skip-character-set-client-handshake cha

mysql+spring+mybatis實現資料庫讀寫分離[程式碼配置]

場景：一個讀資料來源一個讀寫資料來源。 原理：藉助spring的【org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource】這個抽象類實現，看名字可以瞭解到是一個路由資料來源的東西，這個類中有一個方法

mysql資料庫讀寫分離安裝配置

1.在兩臺伺服器上安裝mysql 2.開啟mysql資料庫配置檔案 vim /etc/my.cnf 2.1 在主伺服器master上配置開啟Binary log，主要是在[mysqld]下面新增： server-id=1 log-bin=master-bin log-bin-index=mast

tp5.0主從資料庫 讀寫分離和主從理解

在配置中設定 'hostname' => '伺服器地址,伺服器地址', 'database' => 'linux', // 使用者名稱 'username' => 'root,root', // 密碼 'password' => '123,123456',

微贊微擎V0.8以上版本：【資料庫讀寫分離】實戰教程 [複製連結]

http://www.efwww.com/forum.php?mod=viewthread&tid=4870   馬上註冊，下載更多原始碼，讓你輕鬆玩轉微信公眾平臺。 您需要 登入 才

spring+springmvc+mybatis+maven+mysql 資料庫讀寫分離

spring+springmvc+mybatis+maven+mysql資料庫讀寫分離 一、Spring+Springmvc+Mybatis+Maven建立Web專案 二、使用Spring AOP實現MySQL資料庫讀寫分離 2.1 前言

淺談資料庫讀寫分離、垂直拆分、水平拆分

一、讀寫分離 二、垂直拆分、水平拆分 1.垂直劃分 （1）按照業務將表進行分類，垂直拆分是把不同的表拆到不同的資料庫中。資料庫專庫專用，比如拆為Products、Users、Deal庫。 缺點： （1）部分業務表無法join，只能通過介面方式解決，提高了系統複雜度。 （2）受

mysql資料庫讀寫分離

(1)、基本的理論知識： 首先，要實現mysql的讀寫分離，可以使用mysql的主(master)從(slave)複製(Replication)來實現： 主(master)庫只提供寫資料的服務，而從(slave)庫只提供讀資料的服務。 什麼是主從複製？ 簡單來說，就是

學會資料庫讀寫分離、分表分庫——用Mycat，這一篇就夠了！

轉：     https://www.cnblogs.com/joylee/p/7513038.html 系統開發中，資料庫是非常重要的一個點。除了程式的本身的優化，如：SQL語句優化、程式碼優化，資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統