1. 程式人生 > >高效能Mysql主從架構的複製原理及配置詳解

高效能Mysql主從架構的複製原理及配置詳解

在有些應用場景中,可能讀寫壓力差別比較大,讀壓力特別的大,一個Master可能需要上10臺甚至更多的Slave才能夠支撐注讀的壓力。這時候,Master就會比較吃力了,因為僅僅連上來的SlaveIO執行緒就比較多了,這樣寫的壓力稍微大一點的時候,Master端因為複製就會消耗較多的資源,很容易造成複製的延時。

遇到這種情況如何解決呢?這時候我們就可以利用MySQL可以在Slave端記錄複製所產生變更的BinaryLog資訊的功能,也就是開啟—log-slave-update選項。然後,通過二級(或者是更多級別)複製來減少Master端因為複製所帶來的壓力。也就是說,我們首先通過少數幾臺MySQL從Master來進行復制,這幾臺機器我們姑且稱之為第一級Slave叢集,然後其他的Slave再從第一級Slave叢集來進行復制。從第一級Slave進行復制的Slave,我稱之為第二級Slave叢集。如果有需要,我們可以繼續往下增加更多層次的複製。這樣,我們很容易就控制了每一臺MySQL上面所附屬Slave的數量。這種架構我稱之為Master-Slaves-Slaves架構

這種多層級聯複製的架構,很容易就解決了Master端因為附屬Slave太多而成為瓶頸的風險。下圖展示了多層級聯複製的Replication架構。

當然,如果條件允許,我更傾向於建議大家通過拆分成多個Replication叢集來解決

上述瓶頸問題。畢竟Slave並沒有減少寫的量,所有Slave實際上仍然還是應用了所有的資料變更操作,沒有減少任何寫IO。相反,Slave越多,整個叢集的寫IO總量也就會越多,我們沒有非常明顯的感覺,僅僅只是因為分散到了多臺機器上面,所以不是很容易表現出來。

此外,增加複製的級聯層次,同一個變更傳到最底層的Slave所需要經過的MySQL也會更多,同樣可能造成延時較長的風險。

而如果我們通過分拆叢集的方式來解決的話,可能就會要好很多了,當然,分拆叢集也需要更復雜的技術和更復雜的應用系統架構。


相關推薦

高效能Mysql主從架構複製原理配置

在有些應用場景中,可能讀寫壓力差別比較大,讀壓力特別的大,一個Master可能需要上10臺甚至更多的Slave才能夠支撐注讀的壓力。這時候,Master就會比較吃力了,因為僅僅連上來的SlaveIO執行緒就比較多了,這樣寫的壓力稍微大一點的時候,Master端因為複製就會消耗較多的資源,很容易造成複製的延

高性能Mysql主從架構的復制原理配置

應用場景 難點 要點 一行 tar distrib 控制 成功 實時性 1 復制概述 Mysql內建的復制功能是構建大型,高性能應用程序的基礎。將Mysql的數據分布到多個系統上去,這種分布的機制,是通過將Mysql的某一臺主機的數據復制到其它主機(slaves

MySQL傳統複製與GTID複製原理操作

mysql複製在業界裡有叫:mysql同步,ab複製等。專業名稱就是叫:複製 複製是單向的,只能從master複製到slave上,延時基本上是毫秒級別的。 一組複製結構中可以有多個slave,對於master一般場景推薦只有一個。 master使用者寫入資料,生成event記到binary log中 sla

【Spring】Spring MVC原理配置

進行 return sub sca scrip uil 線程安全 松耦合 必須 1.Spring MVC概述: Spring MVC是Spring提供的一個強大而靈活的web框架。借助於註解,Spring MVC提供了幾乎是POJO的開發模式,使得控制器的開發和測試更加簡

Spring MVC原理配置

對象 classpath oca entity attribute nco conf nal spring Spring MVC原理及配置 1.Spring MVC概述: Spring MVC是Spring提供的一個強大而靈活的web框架。借助於註解,Spring MVC提

MySQL 分區表原理使用

當前 多好 系統 lob 我們 連續 range 數據分區 拆分 1.什麽是表分區: 表分區,是指根據一定規則,將數據庫中的一張表分解成多個更小的,容易管理的部分。從邏輯上看,只有一張表,但是底層卻是由多個物理分區組成。 2.表分區與分表的區別: 分表:指的是通過一定規則,

基於MYCAT的MYSQL主從與讀寫分離配置與示例

第三版_基於Mycat的MySQL主從讀寫分離配置詳解與示例  1、不使用Mycat託管MySQL主從伺服器,簡單使用如下配置:          <dataNodename="dn1" dataHost="localhost1" database="db1"/&

LVS NAT模式原理配置

NAT模式優缺點:因為請求與應答都要經過lvs伺服器,所以訪問量大的話lvs會形成瓶頸,一般要求10-20臺節點。注:(節點指後面的真實web伺服器)每臺節點伺服器的閘道器地址必須是lvs伺服器的內網地址。NAT模式支援對IP地址和埠進行轉換。即使用者請求的埠和真實伺服器的埠

linux防火牆iptables的原理配置

一:前言 防火牆,其實說白了講,就是用於實現Linux下訪問控制的功能的,它分為硬體的或者軟體的防火牆兩種。無論是在哪個網路中,防火牆工作的地方一定是在網路的邊緣。而我們的任務就是需要去定義到底防火牆如何工作,這就是防火牆的策略,規則,以達到讓它對出入網路的IP、資料進行檢

Redis持久化原理配置(RDB方式和AOF方式)

Redis的強大功能很大程度上是由於其將所有資料都儲存在記憶體中。為了使Redis在重啟後仍能保證資料不丟失,需要將資料從記憶體中以某種形式持久化到硬碟中。Redis支援兩種持久化方式,一種是RDB方式,一種是AOF方式。可以單獨使用其中一種或兩種結合使用。(持

mysql (master/slave)複製原理配置

1 複製概述       Mysql內建的複製功能是構建大型,高效能應用程式的基礎。將Mysql的資料分佈到多個系統上去,這種分佈的機制,是通過將Mysql的某一臺主機的資料複製到其它主機(slaves)上,並重新執行一遍來實現的。複製過程中一個伺服器充當主伺服器,而一個或

MySQL主從復制原理實踐

MySQL 主從復制 原理 實踐 第1章 MySQL的主從復制介紹MySQL的主從復制方案,和上述文件及文件系統級別同步是類似的,都是數據的傳輸。只不過MySQL無需借助第三方工具,而是其自帶的同步復制功能。另外一點,MySQL的主從復制並不是磁盤上文件直接同步,而是邏輯的binlog日誌同步

mysql主從復制原理衍生的相關問題

com ges 主從 日誌文件 ima sql 日誌 pro 圖片 主從復制原理:當master接收到寫操作請求時,會把當前完成事件完整過程記錄到binlog日誌中,通知slave事件更新,此時從服務器產生io線程並通過在master上授權的用戶請求日誌文件,master

解析Mysql 主從同步延遲原理解決方案

  MySQL的主從同步是一個很成熟的架構,優點為:①在從伺服器可以執行查詢工作(即我們常說的讀功能),降低主伺服器壓力;②在從主伺服器進行備份,避免備份期間影響主伺服器服務;③當主伺服器出現問題時,可以切換到從伺服器。 相信大家對於這些好處已經非常瞭解了,在專案的部署中也採用

MySQL主從復制原理搭建全過程】

匿名賬戶 啟動 _id baseurl tab restart char http 不可 目錄 準備工作 主從復制原理 開始搭建主從復制 本文將使用mariaDB數據庫實現主從復制,其步驟與MySQL數據庫無差異。 MariaDB數據庫管理系統是MySQL的一個分支,主

MySQL主從延遲複製實踐生產故障案例恢復實踐

主庫插入資料: mysql> create database lanlan; Query OK, 1 row affected (0.00 sec) 主庫插入完資料1秒以後,從庫執行show databases;檢視資料是否及時同步了,結果如下: mysql> show databases; +—

Mysql叢集的HA原理配置指南之主備模式(一)

最近手頭上專案很多,所以部落格這邊耽誤了2個月實在抱歉。 先說說最近搭專案的感受吧: 給一家做網際網路金融的集團公司上私有云,方案用的都是主流的HA高可用方案,沒有什麼特別的,第一期是十臺伺服器(7臺計算節點),現在部署了線上服務的虛擬機器差不多接近60臺,總體來說比較穩定

緩存varnish的管理配置

啟動 一個 hint 單位 quad spec int rom try 一 工作原理 在當前主流的Web服務架構體系中,Cache擔任著越來越重要的作用。常見的基於瀏覽器的C/S架構,Web Cache更是節約服務器資源的關鍵。而最近幾年由FreeBSD創始人之一Kamp開

web緩存服務器varnish-4.1.6的部署配置

是否 次數 tool 至少 hits 檢查 rep nat list web緩存服務器varnish-4.1.6的部署及配置詳解 1.安裝varnish4.1.6安裝依賴 yum install -y autoconf automake jemalloc-devel li

日誌組件slf4j介紹配置

utf 字段 als itl -- owa 輸出結果 apt 查找 1 基本介紹 每一個Java程序員都知道日誌對於任何一個Java應用程序尤其是服務端程序是至關重要的,而很多程序員也已經熟悉各種不同的日誌庫,如java.util.logging、Apache log4j、