2. 程式人生 > >在專案中使用分庫分表中介軟體Zdal

在專案中使用分庫分表中介軟體Zdal

阿新 • • 發佈：2019-01-25

轉載：https://www.tuicool.com/articles/ENVFNjJ

在博主前面的一篇文章 《構建分庫分表中介軟體Zdal》 中已經基本介紹瞭如何構建Zdal，這篇文章主要介紹如何在傳統的Java Web專案中引入Zdal，來達到分庫或者分表的目的，本文是《zdal設計文件》的實戰補充。文章中用到的演示的Java Web專案地址為 https://github.com/yuanwhy/fantasy .

新增zdal-client依賴

在Zdal專案中有很多模組，這些模組分別有著不同的功能和角色，在zdal-doc中的《zdal設計文件》中是這麼給每個模組定義的:

  • zdal-client
     : 載入本地配置檔案，初始化各種資料來源，調整資料來源的配置資訊，路由規則等
  • zdal-datasource : 管理訪問資料庫連線的元件，控制app對資料庫資源的使用，目前支援mysql，oracle，db2等資料庫的資料訪問
  • zdal-parser : 手工編寫的高效能的方便擴充套件的SQL Parser，支援MySQL、Oracle,DB2等流行關係資料庫的SQL Parser
  • zdal-rule : 在分庫分表中，根據拆分欄位進行選庫選表的元件，基於groovy規則引擎
  • zdal-common : Zdal功能所用到一些公共元件類

我們在使用zdal中介軟體的時候其實只需要在POM中引用zdal-client即可，zdal-client已經依賴了內部其他元件，同時建議剔除掉對Spring的引用，主要是為了防止Spring版本的衝突：

<dependency>
    <groupId>com.alipay.zdal</groupId>
    <artifactId>zdal-client</artifactId>
    <version>0.0.1</version>
    <exclusions>
        <exclusion>
            <groupId>org.springframework</groupId>
            <artifactId>
 
spring</artifactId>
        </exclusion>
    </exclusions>
</dependency>

DataSource替換成ZdalDataSource

筆者在《分庫分表技術概覽》一文中總結過分庫分表現在主要是兩種解決方案：應用層依賴類中介軟體和中間層代理類中介軟體。Zdal屬於應用層依賴類中介軟體，主要是通過重寫JDBC介面的方式來實現的，應用層使用ORM框架並沒有本質的影響，因為ORM框架底層還是用的JDBC技術來訪問資料庫。

在JDBC規範中主要是通過DataSource來獲取資料庫連線，而Zdal也提供了這樣一種與以往不同的DataSource。傳統專案中可能使用c3p0這種有連線池功能的DataSource，類似於這種配置：

<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource">
    <property name="driverClass" value="com.mysql.jdbc.Driver"/>
    <property name="jdbcUrl" value="jdbc:mysql://localhost:3306/fantasy"/>
    <property name="user" value="root"/>
    <property name="password" value=""/>
</bean>

現在Zdal中介軟體為了對上層儘可能的透明，儘量少的修改業務程式碼，把分庫分表的邏輯封裝在DataSource下面，對上層提供ZdalDataSource的實現，使用者替換掉老的c3p0資料來源即可：

<bean id="dataSource" class="com.alipay.zdal.client.jdbc.ZdalDataSource" init-method="init" destroy-method="close">
    <property name="appName" value="fantasy"/>
    <property name="appDsName" value="fantasyDs"/>
    <property name="dbmode" value="dev" />
    <property name="configPath" value="classpath:zdal" />
</bean>

這裡的appName即應用專案的名字，appDsName是真實資料來源的名字，dbmode的初衷是為了區分開發和生產環境（其實現在很多maven專案可以通過profile和命令列指定的方式來指定特定環境的檔案，這種dbmode的方式其實作用不大），configPath是真實資料庫配置和規則配置檔案的基本地址。

原來的zdal程式碼中configPath不支援從classpath中載入，可以在ZdalConfigurationLoader中刪除 File configurationFile = new File(configPath, MessageFormat.format(Constants.LOCAL_CONFIG_FILENAME_SUFFIX, appName, dbMode)) 這種檢驗檔案是否存在的程式碼，因為用 java.io.File 類就要求配置檔案必須是在檔案系統中真實存在，而實際上配置檔案可能在jar包中，並沒有對應於檔案系統中的檔案，而且Spring載入檔案的時候自己會檢驗檔案是否存在，修改後的getZdalConfigurationFromLocal方法如下：

private synchronized Map<String, ZdalConfig> getZdalConfigurationFromLocal(String appName,
                                                                               String dbMode,
                                                                               String appDsName,
                                                                               String configPath) {
    List<String> zdalConfigurationFilePathList = new ArrayList<String>();

    zdalConfigurationFilePathList.add(configPath + "/" + MessageFormat.format(
                Constants.LOCAL_CONFIG_FILENAME_SUFFIX, appName, dbMode));

    zdalConfigurationFilePathList.add(configPath + "/" + MessageFormat.format(
            Constants.LOCAL_RULE_CONFIG_FILENAME_SUFFIX, appName, dbMode));

    return loadZdalConfigurationContext(zdalConfigurationFilePathList
        .toArray(new String[zdalConfigurationFilePathList.size()]), appName, dbMode);
}

這樣修改後loadZdalConfigurationContext中使用FileSystemXmlApplicationContext就可以支援classpath、file字首來載入不同協議的XML檔案。

在配置檔案中宣告分庫分表規則

zdal的配置檔案主要有兩個，並且預設使用了一種規則，從getZdalConfigurationFromLocal的程式碼中可以看出來，即 appName-dbMode-ds.xml和appName-dbMode-rule.xml ，這裡的appName和dbMode要和dataSource的設定以及兩個配置檔案內部bean中的value保持一致。

比如筆者在Github中的fantasy專案的配置檔案為fantasy-dev-ds.xml，主要用來指定物理資料來源有哪些，是使用group、shard、shardfailover、shardgroup的哪種模式，內容如下：

<?xml version="1.0" encoding="GBK"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	   xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd">
	
	<bean id="fantasy" class="com.alipay.zdal.client.config.bean.ZdalAppBean">
		<property name="appName" value="fantasy" />
		<property name="dbmode" value="dev" />
		<property name="appDataSourceList">
			<list>		
				<ref bean="fantasyDs" />
			</list>
		</property>
	</bean>
	
	<bean id="fantasyDs" class="com.alipay.zdal.client.config.bean.AppDataSourceBean">
		<property name="appDataSourceName" value="fantasyDs" />
		<property name="dataBaseType" value="MYSQL" />
		<property name="configType" value="SHARD" />
		<property name="appRule" ref="fantasyRule"/>
		<property name="physicalDataSourceSet">
			<set>
				<ref bean="physics0"/>
			</set>
		</property>
	</bean>
	

	<bean id="physics0" class="com.alipay.zdal.client.config.bean.PhysicalDataSourceBean" >
		<property name="name" value="master_0" />
		<property name="jdbcUrl" value="jdbc:mysql://localhost:3306/fantasy" />
	    <property name="userName" value="root" />
	    <property name="password" value="" />
	    <property name="minConn" value="1" />
	    <property name="maxConn" value="10" />
	    <property name="blockingTimeoutMillis" value="180" />
	    <property name="idleTimeoutMinutes" value="180" />
	    <property name="preparedStatementCacheSize" value="100" />
	    <property name="queryTimeout" value="180" />
	    <property name="prefill" value="true"/>
	    <property name="connectionProperties">
			<map>
				<entry key="connectTimeout" value="500" />
				<entry key="autoReconnect" value="true" />
				<entry key="initialTimeout" value="1" />
				<entry key="maxReconnects" value="2" />
				<entry key="socketTimeout" value="5000" />
				<entry key="failOverReadOnly" value="false" />
			</map>
		 </property>
	</bean>


</beans>

另外一個重要的檔案是fantasy-dev-rule.xml，主要用來描述分庫或者分表字段是哪些，是SQL語句執行的依據：

<?xml version="1.0" encoding="GBK"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	   xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd">

	<bean id="fantasyRule" class="com.alipay.zdal.rule.config.beans.AppRule">
		<property name="masterRule" ref="fantasyRWRule" />
		<property name="slaveRule" ref="fantasyRWRule" />
	</bean>
	
	<bean id="fantasyRWRule" class="com.alipay.zdal.rule.config.beans.ShardRule">
		<property name="tableRules">
			<map>
				<entry key="user" value-ref="userTableRule" />
			</map>
		</property>
	</bean>
	
	<bean id="userTableRule" class="com.alipay.zdal.rule.config.beans.TableRule"
		init-method="init">
		<property name="tbSuffix" value="resetForEachDB:[_0-_1]"/>
		<property name="dbIndexes" value="master_0"/>
		<property name="tbRuleArray">
			<list>
				<value>
					return com.yuanwhy.fantasy.rule.ShardRuleParser.parserTbIndex(#id#);
				</value>
			</list>
		</property>
	</bean>
</beans>

這裡的示例就是對user表分表，以使用者的id為分表字段，解析的方法在 com.yuanwhy.fantasy.rule.ShardRuleParser.parserTbIndex 中，tbSuffix是resetForEachDB方式，即每個分庫都有user_0、user_1表，只不過這裡恰好只有一個分庫；分表規則設計為id % 10的方式獲取分表字尾，那麼對於id為10的使用者則被分配到user_0表（關於更多的分表規則的資訊可以參考《zdal設計文件》）。

將fantasy專案執行之前先執行user-schema.sql初始化語句，通過訪問 http://localhost:8080?id=10 執行起來後，可以從Debug資訊中觀察到原始的語句以及根據分表字段解析後獲得的真實可執行的語句：

[DEBUG] 
[original sql]:SELECT id, name, age FROM user
     
        WHERE id = ?
[master_0.user_0]:SELECT id, name, age FROM user_0
     
        WHERE id = ?

至此，一個傳統的Java Web專案就具有了分庫分表的能力（這裡只演示了分表，分庫的道理是一樣的）。


相關推薦

在專案中使用分庫分表中介軟體Zdal

轉載：https://www.tuicool.com/articles/ENVFNjJ 在博主前面的一篇文章 《構建分庫分表中介軟體Zdal》 中已經基本介紹瞭如何構建Zdal，這篇文章主要介紹如何在傳統的Java Web專案中引入Zdal，來達到分庫或者分表的目的

資料庫分庫分表中介軟體對比（很全）

分割槽：對業務透明，分割槽只不過把存放資料的檔案分成了許多小塊，例如mysql中的一張表對應三個檔案.MYD,MYI,frm。根據一定的規則把資料檔案(MYD)和索引檔案（MYI）進行了分割，分割槽後的表呢，還是一張表。分割槽可以把表分到不同的硬碟上，但不能分配到不同伺服器上。優點：資料不存在多個副本，不必進

MYCAT分庫分表中介軟體的簡單配置與使用

前一段時間讀了一本分散式相關的書籍，講到了一種mysql的分庫分表的中介軟體——shark，對它進行了一點研究，想用在實驗室要做的分散式交換系統之中。但是後來發現了一個問題，shark不支援強一致性的系統，而實驗室的分散式交換系統對於強一致性要求又比較高，不得已放棄

噹噹分庫分表中介軟體-sharding-jdbc

使用指南 閱讀本指南前，請先閱讀快速起步。本文件使用更復雜的場景進一步介紹Sharding-JDBC的分庫分表能力。 資料庫模式 本文件中提供了兩個資料來源db0和db1，每個資料來源之中包含了兩組表t_order_0和t_order_1，t_order_item_

資料庫分庫分表中介軟體：Mycat；分散式資料庫;mysql的分散式事務

官網：http://mycat.io/，裡面有電子書籍可以下載：http://www.mycat.io/document/mycat-definitive-guide.pdf 舊版本下載地址：https://github.com/MyCATApache/Mycat-download，最新軟體下載地址：htt

資料庫分庫分表中介軟體 Sharding-JDBC 原始碼分析 —— 分散式主鍵

������關注微信公眾號：【芋道原始碼】有福利： 1. RocketMQ / MyCAT / Sharding-JDBC 所有原始碼分析文章列表 2. RocketMQ / MyCAT / Sharding-JDBC 中文註釋原始碼 Gi

資料庫 分庫分表中介軟體 Cobar 介紹

最近好不容易抽空研究了下Cobar，感覺這個產品確實很不錯（在文件方面比Amoeba強多了），特此推薦給大家。Cobar是阿里巴巴研發的關係型資料的分散式處理系統，該產品成功替代了原先基於Oracle的資料儲存方案，目前已經接管了3000+個MySQL資料庫的schema，平均每天處理近50億次的SQL執

Mycat 資料庫分庫分表中介軟體學習指南

對於分庫分表的資料庫設計很多情況下還是需要的，我們就此作為學習的起點，一起來看下前世來自阿里的Cobar而今的Mycat。 Mycat是什麼 一個徹底開源的，面向企業應用開發的大資料庫叢集 支援事務、ACID、可以替代MySQL的加強版資料庫 一個可以視為MySQL叢

Mycat 資料庫分庫分表中介軟體

Mycat關鍵特性 關鍵特性 支援SQL92標準遵守Mysql原生協議，跨語言，跨平臺，跨資料庫的通用中介軟體代理。基於心跳的自動故障切換，支援讀寫分離，支援MySQL主從，以及galera cluster叢集。支援Galera for MySQL叢集，Percona Cluster或者MariaDB cl

解讀分庫分表中介軟體Sharding-JDBC

3月18日-19日，由CSDN重磅打造的網際網路應用架構實戰峰會、資料庫核心技術與實戰應用峰會將在上海舉行。作為SDCC 2016（中國軟體開發者大會）系列技術峰會的一部分，秉承乾貨實料（案例）的內容原則，這兩場峰會將邀請業內頂尖的架構師和技術專家，共同探討高可用/高併發

分庫分表中介軟體的高可用實踐

# 分庫分表中介軟體的高可用實踐 ## 前言 分庫分表中介軟體在我們一年多的錘鍊下，基本解決了可用性和高效能的問題(只能說基本，肯定還有隱藏的坑要填)，問題自然而然的就聚焦於高可用。本文就闡述了我們在這方面做出的一些工作。 ## 哪些高可用的問題 作為一個無狀態的中介軟體，高可用問題並沒有那麼困難。但是儘量減

一文快速入門分庫分表中介軟體 Sharding-JDBC （必修課）

書接上文 [《一文快速入門分庫分表（必修課）》](https://mp.weixin.qq.com/s/rYG58KS9kHDDOMajKT9y5Q)，這篇拖了好長的時間，本來計劃在一週前就該寫完的，結果家庭內部突然人事調整，領導層進行權利交接，隨之宣佈我正式當爹，緊接著家庭地位滑落至第三名，還給我分配了一個

資料庫（分庫分表）中介軟體對比（轉）

轉載地址：https ://www.cnblogs.com/wangzhongqiu/p/7100332.html 分割槽：對業務透明，分割槽只不過把存放資料的檔案分成了許多小塊，例如mysql中的一張表對應三個檔案.MYD,MYI,frm。 根據一定的規則把資料檔案(MYD)和索引

分庫分表概念及其中介軟體

簡介     分庫分表是在做高併發多執行緒以及分散式事物系統專案中，用於減輕由於高訪問量大資料量導致的系統性能問題而使用的一種在資料庫層面的策略。     常見的分庫分表有：垂直拆分、水平拆分兩種；Oracle和MySQL資料庫均可。根據專案中業務

使用淘寶中介軟體cobar實現mysql分庫分表

cobar 編譯安裝配置筆記 https://github.com/alibaba/cobar windows下使用eclipse匯入cobar專案,eclipse File -> Import -> Git https://github.com/alibab

MySQL分庫分表有哪些成熟的中介軟體？不要破壞到原有程式設計的？

首先Mycat是一個開源的分散式資料庫系統，但是由於真正的資料庫需要儲存引擎的，而Mycat並沒有儲存引擎，所以並不是完全意義的分散式資料庫系統的。 Mycat: 資料庫中介軟體技術的： 這個前端使用中介軟體後端使用資料庫(mysql oracle)支援的，可以對資料

資料庫（分庫分表）中介軟體對比

轉自：http://www.cnblogs.com/cangqiongbingchen/p/7094822.html 分割槽：對業務透明，分割槽只不過把存放資料的檔案分成了許多小塊，例如mysql中的一張表對應三個檔案.MYD,MYI,frm。 根據一定的規則把資料檔案(MYD)和索引檔案（MYI）進

分散式資料層中介軟體詳解：如何實現分庫分表+動態資料來源+讀寫分離

優知學院 2018-10-13 12:10:20   分散式資料層中介軟體： 1.簡介： 分散式資料訪問層中介軟體，旨在為供一個通用資料訪問層服務，支援MySQL動態資料來源、讀寫分離、分散式唯一主鍵生成器、分庫分表、動態化配置等功能，並且支援從客戶端角度對

MySQL多資料來源筆記皇冠體育足球競猜網站開發分庫分表理論和各種中介軟體

一.使用中介軟體的好處皇冠體育足球競猜網站開發dsluntan.com 企娥3393756370皇冠體育足球競猜網站開發使用中介軟體對於主讀寫分離新增一個從資料庫節點來說，可以不用修改程式碼，達到新增節點資料庫而不影響到程式碼的修改。因為如果不用中介軟體，那麼在程式碼中自己是

分庫分表學習總結（2）——資料庫中介軟體MyCat學習總結之MyCat-Web原理介紹

Mycat是一個分庫分表的基於java開發的資料庫中介軟體，使用過程中需要有一個監控系統，mycat-web應運而生。mycat-web是一個使用SpringMVC + Mybatis的監控平臺，使用常用的監控系統協議SNMP-簡單網路管理協議(Simple Network