2. 程式人生 > >從零開發分布式數據庫中間件 一、讀寫分離的數據庫中間件（轉）

從零開發分布式數據庫中間件 一、讀寫分離的數據庫中間件（轉）

阿新 • • 發佈：2017-12-28
mark str 日誌系統 arraylist none views gpo arr 體系

從零開發分布式數據庫中間件 一、讀寫分離的數據庫中間件

在傳統的單機體系中，我們在操作數據庫時，只需要直接得到數據庫的連接，然後操作數據庫即可，可是在現在的數據爆炸時代，只靠單機是無法承載如此大的用戶量的，即我們不能縱向擴展，那麽我們就只能水平進行擴展，即使用讀寫分離的主從數據庫來緩解數據庫的壓力，而在讀寫分離之後，如何使程序能正確的得到主數據庫的連接或者是從數據庫的連接，就是我們今天讀寫分離的數據庫中間件需要實現的。

一、主從數據庫介紹：

主從數據庫即為一個主數據庫會有對應n個從數據庫，而從數據庫只能有一個對應的從數據庫。主從數據庫中寫的操作需要使用主數據庫，而讀操作使用從數據庫。主數據庫與從數據庫始終保持數據一致性。其中保持數據庫一致的原理即為當主數據庫數據發生變化時，會將操作寫入到主數據庫日誌中，而從數據庫會不停的讀取主數據庫的日誌保存到自己的日誌系統中，然後進行執行，從而保持了主從數據庫一致。


二、開發前準備及ConnectionFactory類的開發：

在了解了主從數據庫後，我們可以進行分布式數據庫中間件的開發，由於mysql本身支持主從數據庫，但限於篇幅，就不講mysql的主從配置了，我們先使用本機的mysql作為一主兩從的數據庫源即可，下面是我本機的數據庫連接配置文件，其中有一主兩從：

[java] view plain copy print?
  1. master.driver=com.mysql.jdbc.Driver
  2. master.dburl=jdbc\:mysql\://127.0.0.1\:3306/master_slave_db
  3. master.user=root
  4. master.password=mytestcon
  6. slave1.driver=com.mysql.jdbc.Driver
  7. slave1.dburl=jdbc\:mysql\://127.0.0.1\:3306/master_slave_db
  8. slave1.user=root
  9. slave1.password=mytestcon
  11. slave2.driver=com.mysql.jdbc.Driver
  12. slave2.dburl=jdbc\:mysql\://127.0.0.1\:3306/master_slave_db
  13. slave2.user=root
  14. slave2.password=mytestcon
有了主從數據庫的連接配置後，就可以將配置進行封裝。

封裝的DataSource類：

[java] view plain copy print?
  1. public class DataSource {
  3. private String driver;
  5. private String url;
  7. private String user;
  9. private String password;
  12. public String getDriver() {
  13. return driver;
  14. }
  16. public void setDriver(String driver) {
  17. this.driver = driver;
  18. }
  20. public String getUrl() {
  21. return url;
  22. }
  24. public void setUrl(String url) {
  25. this.url = url;
  26. }
  28. public String getUser() {
  29. return user;
  30. }
  32. public void setUser(String user) {
  33. this.user = user;
  34. }
  36. public String getPassword() {
  37. return password;
  38. }
  40. public void setPassword(String password) {
  41. this.password = password;
  42. }
  43. }
在Spring配置文件中，從配置文件中讀取配置並將配置轉換為封裝的DataSource類：[java] view plain copy print?
  1. <bean id="masterDataSource" class="com.happyheng.connection.DataSource">
  2. <property name="driver" value="${master.driver}"/>
  3. <property name="url" value="${master.dburl}"/>
  4. <property name="user" value="${master.user}"/>
  5. <property name="password" value="${master.password}"/>
  6. </bean>
  8. <bean id="slaveDataSource1" class="com.happyheng.connection.DataSource">
  9. <property name="driver" value="${slave1.driver}"/>
  10. <property name="url" value="${slave1.dburl}"/>
  11. <property name="user" value="${slave1.user}"/>
  12. <property name="password" value="${slave1.password}"/>
  13. </bean>
  15. <bean id="slaveDataSource2" class="com.happyheng.connection.DataSource">
  16. <property name="driver" value="${slave2.driver}"/>
  17. <property name="url" value="${slave2.dburl}"/>
  18. <property name="user" value="${slave2.user}"/>
  19. <property name="password" value="${slave2.password}"/>
  20. </bean>
  22. <bean id="propertyConfigurer"
  23. class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
  24. <property name="locations">
  25. <list>
  26. <value>classpath:dataSource.properties</value>
  27. </list>
  28. </property>
  29. </bean>
有了主從的連接之後，我們就可以寫一個ConnectionFactory類，此類可以為外部類直接提供主數據庫、從數據庫的連接，相當於數據庫連接的封裝：

[java] view plain copy print?
  1. @Service
  2. public class ConnectionFactory {
  4. @Autowired
  5. private DataSource masterDataSource;
  7. @Autowired
  8. private DataSource slaveDataSource1;
  10. @Autowired
  11. private DataSource slaveDataSource2;
  13. private List<DataSource> slaveDataSourceList;
  15. private int slaveDataSourceSize;
  18. @PostConstruct
  19. private void init() {
  20. slaveDataSourceList = new ArrayList<>();
  21. slaveDataSourceList.add(slaveDataSource1);
  22. slaveDataSourceList.add(slaveDataSource2);
  24. slaveDataSourceSize = slaveDataSourceList.size();
  25. }
  28. /**
  29. * 得到主數據的連接
  30. */
  31. public Connection getMasterConnection() {
  32. return getConnection(masterDataSource);
  33. }
  35. /**
  36. * 得到從數據庫的連接數量
  37. */
  38. public int getSlaveDataSourceSize() {
  39. return slaveDataSourceSize;
  40. }
  42. /**
  43. * 得到從數據n的連接
  44. */
  45. public Connection getSlaveConnection(int index){
  46. return getConnection(slaveDataSourceList.get(index));
  47. }
  50. private Connection getConnection(DataSource dataSource){
  52. Connection connection = null;
  53. try {
  54. Class.forName(dataSource.getDriver());
  56. connection = DriverManager.getConnection(dataSource.getUrl(), dataSource.getUser(), dataSource.getPassword());
  57. } catch (Exception e) {
  58. e.printStackTrace();
  59. }
  60. return connection;
  61. }
  62. }
封裝完成後，我們就可以使用getMasterConnection()直接得到主數據庫的連接，使用getSlaveConnection(int)可以得到從數據庫1或者是從數據2的連接。


三、Proxy代理類的實現：

代理類即是可以讓程序中數據庫訪問得到正確的數據庫連接，所以稱為代理。

1、使用ThreadLocal為當前線程指定數據庫訪問模式：

由於Proxy不知道程序使用的是主數據庫還是從數據庫，所以程序在訪問數據庫之前要調用Proxy代理類來為當前線程打一個Tag，即指定是使用主數據庫還是從數據庫。由於而web服務器中每個請求是多線程環境，所以使用ThreadLocal類：

2、使用隨機法來訪問從數據庫：

由於從數據庫有多個，所以我們可以使用隨機法來隨機訪問每個從數據庫，隨機法在高並發的情況下有很平均的分布，性能也非常好。

3、具體實現：

[java] view plain copy print?
  1. @Service
  2. public class DataSourceProxy {
  4. ThreadLocal<String> dataSourceThreadLocal = new ThreadLocal<>();
  6. public static final String MASTER = "master";
  7. public static final String SLAVE = "slave";
  9. @Resource
  10. private ConnectionFactory connectionFactory;
  12. /**
  13. * 設置當前線程的數據庫Mode
  14. */
  15. public void setMode(String dataMode) {
  16. dataSourceThreadLocal.set(dataMode);
  17. }
  19. /**
  20. * 得到當前數據庫Mode
  21. */
  22. public String getMode() {
  23. return dataSourceThreadLocal.get();
  24. }
  26. /**
  27. * 根據當前Mode得到Connection連接對象
  28. */
  29. public Connection getThreadConnection() {
  31. // 1.判斷當前是從數據還是主數據庫,默認是主數據庫
  32. String mode = getMode();
  33. if (!StringUtils.isEmpty(mode) && SLAVE.equals(mode)) {
  35. // y1.如果是從數據庫,那麽使用隨機數的形式來得到從數據庫連接
  36. double random = Math.random();
  37. int index = (int) (random * connectionFactory.getSlaveDataSourceSize());
  39. System.out.println("----使用的為第" + (index + 1) + "從數據庫----");
  41. return connectionFactory.getSlaveConnection(index);
  42. } else {
  44. System.out.println("----使用的為主數據庫----");
  46. // f1.如果是主數據庫,因為只有一個,所以直接獲取即可
  47. return connectionFactory.getMasterConnection();
  48. }
  50. }
  52. }

4、此工程已在github上開源，可以完整實現數據庫的讀寫分離，地址為：github 。如果覺得不錯，那麽就star一下來鼓勵我吧。


從零開發分布式數據庫中間件 一、讀寫分離的數據庫中間件（轉）

相關推薦

從零開發分布式數據庫中間件 一、讀寫分離的數據庫中間件（轉）

mark str 日誌系統 arraylist none views gpo arr 體系 從零開發分布式數據庫中間件 一、讀寫分離的數據庫中間件

從零開發分散式資料庫中介軟體 一、讀寫分離的資料庫中介軟體

  在傳統的單機體系中，我們在操作資料庫時，只需要直接得到資料庫的連線，然後操作資料庫即可，可是在現在的資料爆炸時代，只靠單機是無法承載如此大的使用者量的，即我們不能縱向擴充套件，那麼我們就只能水平進行擴充套件，即使用讀寫分離的主從資料庫來緩解資料庫的壓力，而在讀寫分離之後

[大數據]-Elasticsearch5.3.1+Kibana5.3.1從單機到分布式的安裝與使用<2>

amp fault hang 終端 bject pre 定義 地理 類型 前言：上篇[大數據]-Elasticsearch5.3.1+Kibana5.3.1從單機到分布式的安裝與使用<1>中介紹了ES ,Kibana的單機到分布式的安裝，這裏主要是介紹Elast

EntityFrameWork使用TransactionScope分布式事務，存儲區更新、插入或刪除語句影響到了意外的行數(0)。實體在加載後可能被修改或刪除。刷新 ObjectStateManager 項 錯誤

bject require 鍵值 有一個 char 加載 ransac state system 最近在開發一個小型的物業管理系統，系統其中有一個功能需要每個月按抄的水表、電表等生成相應的費用，數據庫主要的基礎數據表有大樓水、電表、樓層水、電表、房間水電表；其中大樓和樓層的

Go語言開發分布式任務調度 輕松搞定高性能Crontab

監聽 接口 記錄 簡單 inux 寫入 可用 初始化 創建 第1章 課程介紹本章中將介紹一下本課程的基本內容，包括：我們要做什麽、要求什麽基礎、將學會哪些工具、收獲哪些獨家幹貨，以及課程具體安排。1-1 導學視頻第2章 如何執行shell命令執行"定時任務"其實就是執行"s

Linux—Centos7.4之搭建Mysql數據庫主從同步、讀寫分離

搭建Mysql主從同步、讀寫分離MySQL主從同步與讀寫分離 目錄第一部分 實驗環境第二部分 配置主從同步第三部分 配置讀寫分離第四部分 測試驗證 第一部分 實驗環境 實驗拓撲圖： 服務器五臺：1）客戶端服務器一臺：IP地址：192.168.80.10（client）需安裝軟件：mysql-bo

分布式存儲雜談之一：特點、難點和疑點

全面 配置 高端存儲 當前 之一 擴容 同時 直接 復制 當前分布式存儲很火，筆者也有機會投身到了這股洪流。下面就結合這段時間的工作，分專題簡要總結一下一些感想。 分布式存儲的特點 擴展性好，支持橫向擴展，擴容、擴性能直接加機器就好； 無需特別硬件支持，區別於一些中高

分布式Redis緩存串講(一)

我們 courier win hang lar nbsp lock margin disk 互聯網應用的基石現在流量稍微大些的網站，都會采取Redis。基於Redis的內存緩存特性，可以大幅度降低數據庫的訪問量，大大提升了網站的並發能力，充當數據庫的削量先鋒。既然Redis

三種分布式鎖 簡易說說(包含前一篇提到的redis分布式鎖)

出現 lan tro 簡易 sci aaa 數據 其它 無法 大多數互聯網系統都是分布式部署的，分布式部署確實能帶來性能和效率上的提升，但為此，我們就需要多解決一個分布式環境下，數據一致性的問題。 當某個資源在多系統之間，具有共享性的時候，為了保證大家訪問這個資源數據是

[Web][DreamweaverCS6][高中同學畢業分布去向網站+服務器上掛載]一、安裝與破解DreamweaverCS6+基本規劃

ima data 計時 感覺 get .net 查詢 並且 背景 　　DreamweaverCS6安裝與破解 一、背景介紹：同學畢業分布圖項目計劃簡介 　　哎哎哎，炸麽說呢，對於Web前端設計來說，純手撕html部分代碼實在是難受。 　　對於想做地圖這類的就&ldqu

MySQL數據庫事務各隔離級別加鎖情況--read committed && MVCC（轉）

釋放 什麽 表空間 版本 read 存儲引擎 extern 不同 重新 本文轉自https://m.imooc.com/article/details?article_id=17290 感謝作者 上篇記錄了我對MySQL 事務 隔離級別read uncommitted

JAVAEE——宜立方商城13：Mycat數據庫分片、主從復制、讀寫分離、100%Linux中成功安裝Mysql的方法

server structure chang exe under have 重新啟動 switch option 1 海量數據的存儲問題 如今隨著互聯網的發展，數據的量級也是撐指數的增長，從GB到TB到PB。對數據的各種操作也是愈加的困難，傳統的關系性數據庫已經無法滿足快速

DBA 小記 — 分庫分表、主從、讀寫分離

場景 歸並排序 ade 優化 ive names shard 能力 syn 前言 我在上篇博客 “Spring Boot 的實踐與思考” 中比對不同規範的 ORM 框架應用場景的時候提到過主從與讀寫分離，本篇隨筆將針對此和分庫分表進行更深入地探討。 1. 漫談 在進入正題

使用Mycat實現MySQL的分庫分表、讀寫分離、主從切換

Mycat 分庫分表 讀寫分離 主從切換 Mycat及MySQL實例部署情況：Mycat：IP：10.20.8.57，Port：3310/3311MySQL ：db1-M1，IP：10.20.8.126，Port：3306db1-M2，IP：10.20.8.126，Port：3307db2-M

阿里P8架構師談：資料庫分庫分表、讀寫分離的原理實現，使用場景

為什麼要分庫分表和讀寫分離？   類似淘寶網這樣的網站，海量資料的儲存和訪問成為了系統設計的瓶頸問題，日益增長的業務資料，無疑對資料庫造成了相當大的負載，同時對於系統的穩定性和擴充套件性提出很高的要求。隨著時間和業務的發展，資料庫中的表會越來越多，表中的資料量也會越來越大，相應地，

使用Mycat實現Mysql資料庫的主從複製、讀寫分離、分表分庫、負載均衡和高可用

Mysql叢集搭建 使用Mycat實現Mysql資料庫的主從複製、讀寫分離、分表分庫、負載均衡和高可用(Haproxy+keepalived)，總體架構：   說明：資料庫的訪問通過keepalived的虛擬IP訪問HAProxy負載均衡器，實現HAProxy的高可用，HAProxy用於實

資料庫分庫分表、讀寫分離的實現原理及使用場景

為什麼要分庫分表和讀寫分離？ 類似淘寶網這樣的網站，海量資料的儲存和訪問成為了系統設計的瓶頸問題，日益增長的業務資料，無疑對資料庫造成了相當大的負載，同時對於系統的穩定性和擴充套件性提出很高的要求。隨著時間和業務的發展，資料庫中的表會越來越多，表中的資料量也會越來越

IM開發基礎知識補課(三)：快速理解服務端資料庫讀寫分離原理及實踐建議

1、前言 IM應用從服務端資料的角度來看，它是一種很特殊的應用場景，拋開基礎資料、增值業務和附屬功能不談，單從IM聊天工具的立身之本——聊天資料來說，理論上是不需要在服務端儲存的（或者說只需要短暫儲存——比如離線訊息，上線即拉走），這也是為什麼微信在前段時間號稱絕不儲存使用

mysql主從複製、讀寫分離、分庫分表、分片

第1章 引言 隨著網際網路應用的廣泛普及，海量資料的儲存和訪問成為了系統設計的瓶頸問題。對於一個大型的網際網路應用，每天幾十億的PV無疑對資料庫造成了相當高的負載。對於系統的穩定性和擴充套件性造成了極大的問題。通過資料切分來提高網站效能，橫向擴充套件資料層已經成為架構研發人員首選的方式。 水平切分資料庫：可

阿里P8架構師談：資料庫分庫分表、讀寫分離的原理和實現，以及使用場景

架構設計的重要的一環：資料庫分庫分表、讀寫分離，希望你看完本篇，能獨立完成該環節的設計！   為什麼要分庫分表和讀寫分離？ 類似淘寶網這樣的網站，海量資料的儲存和訪問成為了系統設計的瓶頸問題，日益增長的業務資料，無疑對資料庫造成了相當大的負載，同時對於系統的穩定性和擴充套件性提出很高的要求。隨