2. 程式人生 > >Spring動態配置多資料來源--多mysql從庫

Spring動態配置多資料來源--多mysql從庫

阿新 • • 發佈：2019-02-11


一直做了網際網路的小專案，感覺小公司的效能瓶頸主要在資料庫端。大公司沒去過，不清楚鄙視~

一般用mysql資料庫做主從，讀寫分離，減少主庫的壓力。假設1主4從。4個從庫每次的訪問是隨機,壓力平攤。

先把搜來的貼出來。先記錄下，再去code實驗~

採用spring的AbstractRoutingDataSource就可以簡單的解決這個問題。下面是用ibatis的。單獨的spring mvc 實現也是用AbstractRoutingDataSource類

AbstractRoutingDataSource實現了javax.sql.DataSource介面，因此可以理解為一個虛擬的動態DataSource，在需要的時候根據上下文Context動態決定使用哪個資料來源。

下面這個是ibatis 的 沒實驗只是簡單看看，不過每次 service都要

  1. DbContextHolder.setDbType("2");  
從庫多了哥們都設定暈了。稍後學習奉上根據事務管理直接動態隨機分配的~ （9.21更新 。在最下面的第2部分是根據公司的專案整理出來的。測試通過，可以動態分配）

/******************************一 、複製來的例子 開始**********************************************/

Xml程式碼 複製程式碼
  1. <beansxmlns="http://www.springframework.org/schema/beans"
  2. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3. xmlns:aop="http://www.springframework.org/schema/aop"
  4. xmlns:tx="http://www.springframework.org/schema/tx"
  5. xmlns:jee="http://www.springframework.org/schema/jee"
  6. xsi:schemaLocation="   
  7.             http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-2.5.xsd   
  8.             http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-2.5.xsd   
  9.             http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-2.5.xsd   
  10.             http://www.springframework.org/schema/jee http://www.springframework.org/schema/jee/spring-jee-2.5.xsd">
  11. <!-- ========================= GENERAL DEFINITIONS ========================= -->
  12. <jee:jndi-lookupid="ds0"jndi-name="jdbc/ds0"/>
  13. <jee:jndi-lookupid="ds1"jndi-name="jdbc/ds1"/>
  14. <jee:jndi-lookupid="ds2"jndi-name="jdbc/ds2"/>
  15. <beanid="dataSource"class="com.xxx.xxx.util.DynamicDataSource">
  16. <propertyname="targetDataSources">
  17. <mapkey-type="java.lang.String">
  18. <entrykey="0"value-ref="ds0"/>
  19. <entrykey="1"value-ref="ds1"/>
  20. <entrykey="2"value-ref="ds2"/>
  21. </map>
  22. </property>
  23. <propertyname="defaultTargetDataSource"ref="1"/>
  24. </bean>
  25. <!-- SqlMap setup for iBATIS Database Layer -->
  26. <beanid="sqlMapClient"class="org.springframework.orm.ibatis.SqlMapClientFactoryBean">
  27. <propertyname="dataSource"ref="dataSource"/>
  28. <propertyname="configLocation"value="classpath:com/xxx/xxx/dao/sqlmap/sql-map-config.xml"/>
  29. </bean>
  30. <beanid="testDAO"class="com.xxx.xxx.dao.impl.TestDAO">
  31. <propertyname="sqlMapClient"ref="sqlMapClient"/>
  32. </bean>
  33. <beanid="testService"class="com.xxx.xxx.service.impl.TestService">
  34. <propertyname="testDAO"ref="testDAO"/>
  35. </bean>
  36. </beans>

其核心是DynamicDataSource，程式碼如下

Java程式碼 複製程式碼
  1. package com.xxx.xxx.util;   
  2. import org.apache.log4j.Logger;   
  3. import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;   
  4. publicclass DynamicDataSource extends AbstractRoutingDataSource {   
  5. static Logger log = Logger.getLogger("DynamicDataSource");   
  6. @Override
  7. protected Object determineCurrentLookupKey() {   
  8. // TODO Auto-generated method stub
  9. return DbContextHolder.getDbType();   
  10.     }   
  11. }  

上下文DbContextHolder為一執行緒安全的ThreadLocal，如下

Java程式碼 複製程式碼
  1. package com.xxx.xxx.util;   
  2. publicclass DbContextHolder {   
  3. privatestaticfinal ThreadLocal contextHolder = new ThreadLocal();   
  4. publicstaticvoid setDbType(String dbType) {   
  5.         contextHolder.set(dbType);   
  6.     }   
  7. publicstatic String getDbType() {   
  8. return (String) contextHolder.get();   
  9.     }   
  10. publicstaticvoid clearDbType() {   
  11.         contextHolder.remove();   
  12.     }   
  13. }  

sql-map-config.xml如下

Xml程式碼 複製程式碼
  1. <?xmlversion="1.0"encoding="UTF-8"standalone="no"?>
  2. <!DOCTYPE sqlMapConfig PUBLIC "-//iBATIS.com//DTD SQL Map Config 2.0//EN"   
  3.         "http://www.ibatis.com/dtd/sql-map-config-2.dtd">
  4. <sqlMapConfig>
  5. <sqlMapresource="com/xxx/xxx/dao/sqlmap/Object.xml"/>
  6. </sqlMapConfig>

這樣在呼叫service之前只需要設定一下上下文即可呼叫相應的資料來源，如下：

Java程式碼 複製程式碼
  1. DbContextHolder.setDbType("2");   
  2. //execute services
  3. //.........

dao如下

Java程式碼 複製程式碼
  1. package com.xxx.xxx.dao.impl;   
  2. import java.util.HashMap;   
  3. import java.util.List;   
  4. import java.util.Map;   
  5. import org.apache.log4j.Logger;   
  6. import org.springframework.orm.ibatis.support.SqlMapClientDaoSupport;   
  7. import com.xxx.xxx.vo.TestObj;   
  8. publicclass TestDAO extends SqlMapClientDaoSupport implements ITestDAO {   
  9. static Logger log = Logger.getLogger(TestDAO.class);   
  10. public TestObj getTestObj(String objID) throws Exception {   
  11. return (TestObj) getSqlMapClientTemplate().queryForObject("getTestObj", objID);   
  12.     }   
  13. }  

 /******************************一 、複製來的例子 結束**********************************************/

/********************************************二、動態分配資料來源 spring2.5  +ibatis 開始*************************************************/ application中db的配置 
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
       xmlns:aop="http://www.springframework.org/schema/aop"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-2.5.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-2.0.xsd">
 	<!-- 資料庫配置檔案載入 -->
	<bean id="propertyConfigurer"
		class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
		<property name="locations">
			<list>
				<value>classpath:/jdbc.properties</value>
			</list>
		</property>
	</bean>
	
	<!-- 資料來源parent-->
	<bean id="parentDataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"
		destroy-method="close" abstract="true">
		<property name="driverClass">
			<value>${jdbc.driverClassName}</value>
		</property>
		<property name="jdbcUrl">
			<value>${jdbc.url}</value>
		</property>
		<property name="user">
			<value>${jdbc.username}</value>
		</property>
		<property name="password">
			<value>${jdbc.password}</value>
		</property>
		<property name="maxPoolSize">
			<value>${jdbc.maxPoolSize}</value>
		</property>
		<property name="minPoolSize">
			<value>${jdbc.minPoolSize}</value>
		</property>
		<property name="initialPoolSize">
			<value>${jdbc.initialPoolSize}</value>
		</property>
		<property name="idleConnectionTestPeriod">
			<value>${jdbc.idleConnectionTestPeriod}
			</value>
		</property>
		<property name="maxIdleTime">
			<value>${jdbc.maxIdleTime}</value>
		</property>
	</bean>
	<!-- 主庫資料來源-->
	<bean id="writedb" parent="parentDataSource"></bean>
	<!-- 從庫資料來源-->
	<bean id="read02" destroy-method="close" parent="parentDataSource">
		<property name="jdbcUrl">
			<value>${jdbc.read.db02.url}</value>
		</property>
		<property name="user">
			<value>${jdbc.read.db02.username}</value>
		</property>
		<property name="password">
			<value>${jdbc.read.db02.password}</value>
		</property>
	</bean>
	<!-- 從庫資料來源-->
	<bean id="read03" destroy-method="close" parent="parentDataSource">
		<property name="jdbcUrl">
			<value>${jdbc.read.db03.url}</value>
		</property>
		<property name="user">
			<value>${jdbc.read.db03.username}</value>
		</property>
		<property name="password">
			<value>${jdbc.read.db03.password}</value>
		</property>
	</bean>

	
	<!-- 動態資料來源 -->
	<bean id="dataSource" class="com.share.common.database.DataSourceRouter">
		<property name="targetDataSources">
			<map key-type="java.lang.String">
				<entry key="writedb" value-ref="writedb" />
				<entry key="read02" value-ref="read02" />
				<entry key="read03" value-ref="read03" />
			</map>
		</property>
		<property name="defaultTargetDataSource" ref="writedb" />
		<property name="dataSourceKey">
			<ref local="dataSourceKey" />
		</property>
	</bean>

	<!-- 讀寫管理 -->
	<bean id="dataSourceKey" class="com.share.common.database.DataSourceKeyImpl">
		<property name="readDateSourceMap">
			<map key-type="java.lang.String">
				<entry key="read02" value="read02" />
				<entry key="read03" value="read03" />
				
			</map>
		</property>
		<property name="writedbKey">
			<value>writedb</value>
		</property>
	</bean>
	
	<!-- 事務配置 -->
	<bean id="transactionManager"
		class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
		<property name="dataSource" ref="dataSource"></property>
	</bean>

	<!-- 事務管理攔截器 -->
	<bean id="transactionInterceptor"
		class="org.springframework.transaction.interceptor.TransactionInterceptor">
		<property name="transactionManager" ref="transactionManager" />
		<property name="transactionAttributes">
			<props>
				<prop key="query*">PROPAGATION_SUPPORTS,-Exception</prop>
				<prop key="select*">PROPAGATION_SUPPORTS,-Exception</prop>
				<prop key="find*">PROPAGATION_SUPPORTS,-Exception</prop>
				<prop key="get*">PROPAGATION_SUPPORTS,-Exception</prop>
				
				<prop key="save*">PROPAGATION_REQUIRED,-Exception</prop>
				<prop key="update*">PROPAGATION_REQUIRED,-Exception</prop>
				<prop key="delete*">PROPAGATION_REQUIRED,-Exception</prop>
				<prop key="add*">PROPAGATION_REQUIRED,-Exception</prop>
				<prop key="edit*">PROPAGATION_REQUIRED,-Exception</prop>
				<prop key="*">PROPAGATION_SUPPORTS,-Exception</prop>
			</props>
		</property>
	</bean>


	<!-- 動態資料來源攔截器 -->
	<bean id="dataSourceInterceptor" class="com.share.common.database.DataSourceInterceptor">
		<property name="attributes">
			<props>
				<prop key="query*">readdb</prop>
				<prop key="select*">readdb</prop>
				<prop key="find*">readdb</prop>
				<prop key="get*">readdb</prop>
				<prop key="save*">writedb</prop>
				<prop key="update*">writedb</prop>
				<prop key="delete*">writedb</prop>
				<prop key="add*">writedb</prop>
				<prop key="edit*">writedb</prop>
				<prop key="*">readdb</prop>
			</props>
		</property>
		<property name="dataSourceKey">
			<ref bean="dataSourceKey" />
		</property>
	</bean>

	<!-- 根據service名稱攔截 -->
	<bean
		class="org.springframework.aop.framework.autoproxy.BeanNameAutoProxyCreator">
		<property name="beanNames">
			<list>
				<value>*Service</value>
			</list>
		</property>
		<property name="interceptorNames">
			<list>
				<value>dataSourceInterceptor</value>
			</list>
		</property>
	</bean>
	<!-- ibatis  sqlMapClient-->
	<bean id="sqlMapClient"
          class="org.springframework.orm.ibatis.SqlMapClientFactoryBean">
        <property name="configLocation"
                  value="classpath:/config/ibatis/SqlMapConfig.xml"/>
        <property name="dataSource" ref="dataSource"/>
    </bean>
    <!-- dao  基類 -->
	<bean id="simpleDao" class="com.share.common.dao.IbatisSimpleDaoImpl">
        <property name="sqlMapClient" ref="sqlMapClient"/>
    </bean>
    
</beans>

jdbc.properties  
jdbc.driverClassName=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull
jdbc.username=root
jdbc.password=root
jdbc.maxPoolSize=100
jdbc.minPoolSize=10
jdbc.initialPoolSize=10
jdbc.idleConnectionTestPeriod=900
jdbc.maxIdleTime=1800

jdbc.read.db02.url=jdbc:mysql://127.0.0.1:3306/test02?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull
jdbc.read.db02.username=root
jdbc.read.db02.password=root

jdbc.read.db03.url=jdbc:mysql://127.0.0.1:3306/test03?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull
jdbc.read.db03.username=root
jdbc.read.db03.password=root
最近忙沒時間都貼出來，有時間再上傳下全部的。 主要原理： 1.寫自己的Rout類繼承AbstractRoutingDataSource類 @Override determineCurrentLookupKey()方法 此方法返回dataSource的key.我們只要控制這個key.(例子中有3個writedb、 readdb02、readdb03 )，就是控制了每次使用的那個資料來源。 2.攔截器 寫自己的攔截器實現MethodInterceptor。在此攔截器中根據請求的方法名字設定key.(例子中有3個writedb、 readdb02、readdb03 ) 然後在自己的Rout類中返回就可以了。 最終執行測試的結果： 迴圈10次查詢。10次讀的庫是隨機的，我測的時候配置了10個從庫. /********************************************二、動態分配資料來源 spring2.5  +ibatis*************************************************/

相關推薦

Spring動態配置多資料來源--多mysql從庫

一直做了網際網路的小專案，感覺小公司的效能瓶頸主要在資料庫端。大公司沒去過，不清楚~ 一般用mysql資料庫做主從，讀寫分離，減少主庫的壓力。假設1主4從。4個從庫每次的訪問是隨機,壓力平攤。 先把搜來的貼出來。先記錄下，再去code實驗~ 採用spring的Abstr

java配置多資料來源多連線池的工具類，這裡是mysql和mongoDB

public class DBManager { private static final String PREFIX="jdbc:apache:commons:dbcp:"; private static Log log =LogFactory.getLog(DBManager.clas

Spring Boot筆記之多資料來源（Mysql+MyBatis）

Mysql+MyBatis多資料來源配置 SpringBoot單資料來源配置 pom.xml application.yml SpringBoot多資料來源配置 修改application.yml Confi

SpringBoot配置多資料來源（MySQL+SQLServer）

SpringBoot 版本 1.5.13.RELEASE，以下maven依賴中包含jpa、web、mysql驅動、sqlserver驅動、測試模組。（按需新增） <parent> <groupId>org.springframework.

springboot配置多種型別多資料來源（mysql+postgresql+presto（資料倉庫））yml方式整合分頁

宣告：此處示例為mysql和postgresql資料庫和presto 三種類型資料庫源mysql與postgresql都屬於資料庫所以這裡簡寫只配置postgresql庫presto是資料倉庫在配置資料來源測試時會遇到很多坑，等下詳細描述首先宣告：我專案的springboot

spring boot 配置單資料來源和多controller問題

1 配置資料來源參考這篇部落格 使用的是jpa hibernate 2 程式碼目錄問題 遇到一些奇奇怪怪的啟動問題 1 建立了另一個controller，結果無法完成對映，requestMapping失敗，報404 2 說是找不到userDao 的bean，無法自動

mysql 從庫落後主庫太多優化

設置 cati iat 默認 io線程 com med events inf 有時候為了避免master.info和中繼日誌崩潰，在容忍額外的fsync()帶來的開銷，推薦設置sync_master_info = 1sync_relay_log = 1sync_relay_

spring boot+mybatis+druid 多資料來源多庫分散式事務

廢話不多說，首先貼配置檔案，需要引入pomxml <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter&l

Spring中配置和讀取多個Properties檔案--轉

    http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd">       &

如何在spring中配置集合供多個Bean使用

一：Utility   Scheme 1.使用基本的集合標籤定義集合時，不能將集合作為獨立的Bean定義，導致其他Bean無法引用該集合，所以無法在不同Bean之間 共享集合。 2.可以使用Utility  Scheme裡的集合標籤定義獨立的集合Bean，需要的是在B

JPA配置多資料來源多persistence.xml檔案

<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst

ssm多資料來源多事物配置

       最近有個需求是要為專案配置多個數據源，就此看了一下資料，做出了一個Demo，在此分享一下。        如何新增多個數據源？        專案的資料來源是在spring的配置檔案中配置的，同樣也是使用spring的事務來管理。資料來源配置如下      

tomcat下oracle多資料來源多專案配置（親測可行)

一.  專案配置修改： 1.  檔案位置：專案名/webapp/WEB-INF/application-context.xml，修改資料來源名稱 專案A: <!-- 資料訪問，使用jdbc/topcdb做為資料來源 -->     <jee:jndi-lo

MySQL 從庫配置常用參數說明

ja#啟用從庫日誌，這樣可以進行鏈式復制log-slave-updates=1#從庫是否只讀，0表示可讀寫，1表示只讀read-only=1#只復制某個表replicate-do-table=tablename#只復制某些表（可用匹配符）replicate-wild-do-table=tablename%#只

spring boot 配置雙數據源mysql、sqlServer

val imp lda sta cti pri work .get pat 背景：原來一直都是使用mysql數據庫，在application.properties 中配置數據庫信息 spring.datasource.url=jdbc:mysql://xxxx/test s

spring boot配置druid資料來源和監控配置

直接上程式碼： 一.pom.xml中新增依賴 1 <dependency> 2 <groupId>com.github.drtrang</groupId> 3 <artifactId>druid-s

心得整理之一--RDLC多資料來源多表

      我將專案中的一部分提煉出來,寫了這個Demo. 先說一下需求, 從 API介面, 獲取資料來源, 呼叫RDLC 生成PDF檔案. (後面還有涉及到使用福昕PDf閱讀器進行設定檔案自定義內容,以供外部程式使用,這裡就不列舉.)  現在要生成以下格式的PDF檔案, 其中  "職稱資訊" 會有多個, "

LVS+Keepalived實現MySQL從庫讀操作負載均衡配置

password lob new 信息 如果 ldoc 負載均衡。 path ignore 轉載於osyunwei 說明： 操作系統：CentOS 5.X 64位 MySQL主服務器：192.168.21.126 MySQL從服務器：192.168.21.127，192.1

Spring SpringMVC配置Druid資料來源（資料庫連線池）

之前分享過Spring boot整合使用Druid的方法，現在分享下Spring，SpringMVC配置Druid的方法。我們一般常用的資料來源（資料庫連線池）有Druid，HikariCP。 web.xml增加如下配置語句： <filter> <fil

spring mvc配置datasource資料來源的三種方式

spring配置datasource三種方式1、使用org.springframework.jdbc.datasource.DriverManagerDataSource 說明：DriverManagerDataSource建立連線是隻要有連線就新建一個connection,