伺服器端讀寫分離的具體技術

1: 資料庫叢集技術

叢集由 3 個概念

1. sql 節點 sql node
2. 資料節點 data node
3. 管理節點 ndb managerment

Sql 語句傳送 “1sql 節點 “, “1sql” 節點發往 “2 資料節點 “, 再由 3 管理節點完成資料節點的之間的同步 .

叢集技術相對複雜 , 至少有 3 種節點 ,4 臺伺服器才能完成 .

2: 資料庫複製 replication

資料庫複製 replication 的實現原理

1. 主伺服器凡執行語句 , 都產生一個二進位制日誌 binlog

2. 從伺服器不斷讀取主伺服器的 binlog

3. 從主服務讀取到的 binlog, 轉換為自身可執行的 relaylog,

4. 執行 relaylog

實現步驟 :

1. 首先確保主伺服器開啟二進位制日誌功能 .這樣 , 主伺服器一旦有資料變化 , 立即產生二進位制日誌 .

2. 從伺服器也需要開啟二進位制日誌和 relay 日誌功能 .這樣可以從主伺服器讀取 binlog, 併產生 relaylog

3. 在主伺服器建立一個從伺服器的賬號 , 並授予數得上許可權 .

4. 指定從服務對應的主伺服器 , 開啟從伺服器 .

具體實施

本人虛擬機器下有兩臺 linux,IP 為 168

1. 166 做從伺服器

2. 168 做為主伺服器 .

3. 保證主從 3306 埠互通 .

配置主伺服器

4. 配置主伺服器 168, 開啟 binlog

檢視mysql主伺服器狀態 是否配置

MariaDB [mysql]> show master status;
Empty set (.00 sec)

vim /etc/my.cnf
...
...
...
# 給伺服器起一個唯一的 id
server-id=168
 # 開啟二進位制日誌
log-bin=mysql-bin
# 指定日誌格式 有mixed|row|statement 推薦mixed
binlog-format=mixed
 

重啟 mysql

[root@localhost ~]# service mysqld restart

檢視mysql主伺服器狀態 是否配置 結果已經能夠充當 master 伺服器

MariaDB [mysql]> show master status ;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |        0 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

5. 在主伺服器上建立相應的複製賬號

MariaDB [mysql]> grant replication slave,replication client on *.* to [email protected]'192.168.%.%' identified by '123456';
Query OK, 0 rows affected (0.02 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

配置從伺服器

6. 配置從伺服器開啟 binlog 和 relaylog

檢視mysql從伺服器狀態 是否配置

MariaDB [mysql]> show slave status;
Empty set (.00 sec)

vim /etc/my.cnf
...
...
...
# 給伺服器起一個唯一的 id
server-id=166
# 開啟二進位制日誌
log-bin=mysql-bin
# 指定中繼日誌的位置和命名
relay_log=mysql-relay
# 允許從庫將其重要的事件也記錄到自身的二進位制日誌中
log_slave_updates=1
# 指定只讀
read-only=1

重啟 mysql

[root@localhost ~]# service mysqld restart

7. 在從伺服器通過語句指定要複製的主伺服器 ( 注意 , 可以一主多從 , 不可一從多主 ).

master_log_file對應主伺服器 show master status中的File
master_log_pos對應主伺服器 … status中的position

MariaDB [mysql]> change master to
master_host='192.168.1.168',
master_user='repl',
master_password='123456',
master_log_file='mysql-bin.000001',
master_log_pos=0;
Query OK, 0 rows affected (0.00 sec)

8. 啟動從伺服器功能

MariaDB [mysql]> start slave;

9. 檢視從庫狀態

MariaDB [mysql]> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.166
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 0
               Relay_Log_File: mysql-relay.000001
                Relay_Log_Pos: 0
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
            ...           
            ... 
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
1 row in set (0.00 sec)

9. 測試 .

常用語句 :

#檢視 master 的狀態 ,  尤其是當前的日誌及位置
show master status ;

#檢視 slave 的狀態 .
show slave status;

#重置 slave 狀態 .
reset slave ;

#啟動 slave  狀態 ( 開始監聽 msater 的變化 )
start slave ;

#暫停 slave 狀態 ;
stop slave;

主伺服器的日誌格式用哪種好 ?

有 statement,row, mixed 3種 , 其中 mixed 是指前 2 種的混合 。

1. 以 insert into xxtable values (x,y,z) 為例 ,
   影響 : 1 行 , 且為新增 1 行 , 對於其他行沒有影響 .
   這個情況 , 用 row 格式 , 直接複製磁碟上 1 行的新增變化 。

2. 以 update xxtable set age=21 where name='sss';
   這個情況 , 一般也只是影響 1 行 . 用 row 也比較合適 。

3. 以過年發紅包 , 全公司的人 , 都漲薪 100 元 .
   update xxtable set salary=salary+100;
   這個語句帶來的影響 , 是針對每一行的 , 因此磁碟上很多 row 都發生了變化 。
   此處 , 適合就 statment 格式的日誌 。

總結
2 種日誌 , 各有各的高效的地方 ,mysql 提供了 mixed 型別 。
可以根據語句的不同 , 而自動選擇適合的日誌格式 .

除錯

配置mysql的master/slave時，經常會遇到Slave_IO_Running: No

這時可通過以下方法來處理：

方法一： （重置slave）

slave stop;

reset slave;

slave start;

方法二

MariaDB [mysql]> slave stop;
MariaDB [mysql]> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
MariaDB [mysql]> slave start;

方法三： （重設同步日誌件及位置）

1、檢視slave狀態

show slave status\G

            Master_Log_File: mysql-bin.000040
        Read_Master_Log_Pos: 4
             Relay_Log_File: mysqld-relay-bin.000001
              Relay_Log_Pos: 98
      Relay_Master_Log_File: mysql-bin.000040
           Slave_IO_Running: No
          Slave_SQL_Running: Yes

目前已同步到mysql-bin.000040這個日誌檔案，98的位置；

2、暫停slave

slave stop;

3、到主伺服器上檢視主機狀態：

MariaDB [mysql]> show master status ;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000004 |     1872 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

4、修改從服務同步日誌檔案及位置

日誌檔案及位置都改小；（之前是同步正常，最近才出現問題的，一般改小一個值就好）
如：

change master to master_log_file='mysql-bin.000004', master_log_pos=1872;

4、啟動slave

slave start;

5、再次確認slave狀態

show slave status\G

這時會發現：
Slave_IO_Running: Yes
且下述兩個值一直在不斷變化中：
Relay_Log_Pos: 998875
Relay_Master_Log_File: mysql-bin.000048

方法一、二不一定會有效果.方法三是強制性從某一個點開始同步,會有部分沒有同步的資料丟失,後續主伺服器上刪除記錄同步也會有一些錯誤資訊,不會影響使用.

複製過濾

主庫過濾

在主庫上使用選項 binlog_do_db和binlog_ignore_db來控制過濾二進位制日誌。

# 只記錄test庫的二進位制日誌，可以配置多個
binlog_do_db = 'test'

# 不記錄mysql庫的二進位制日誌
binlog_ignore_db = 'mysql'

inlog_do_db和Binlog_ignore_db不僅可能會破壞複製，還可能會導致從某個時間點的備份進行資料恢復時失敗。在大多資料情況下都不應該使用這些引數。

從庫過濾

#要只想複製某個庫
replicate_do_db = 'db_name'

#要只想複製某張表
replicate_do_table = 'table_name'

#忽略複製某個庫
replicate_ignore_db
#忽略複製某張表
replicate_ignore_table

#複製 萬用字元 匹配指定庫的所有表
replicate_wild_do_table = db_name[%_]

#複製 除萬用字元 匹配指定庫外的所有表
replicate_wild_ignore_table = db_name[%_]


#告訴從伺服器如果預設資料庫(由USE所選擇)為主伺服器上的 from_name ，則翻譯為 to_name 。隻影響含有表
的語句(不是類似CREATE DATABASE、DROP DATABASE和ALTER DATABASE的語句)，並且只有 from_name 為
主伺服器上的預設資料庫時。該選項不可以跨資料庫進行更新。
replicate_rewrite_db = from_name->to_name

從伺服器設定完成，重啟mysql伺服器，然後進入互動式模式，執行mysql> SHOW SLAVE STATUS\G
檢視Replicate_Do_DB這一欄位，即可驗證配置是否生效

問題

但實際上它不會根據目標資料庫名過濾，過濾的是當前的預設資料庫（如果使用的是基於語句的複製，就會有這樣的問題，但基於行的複製方式則不會）

Mysql>USE test;
Mysql>DELETE FROM sakila.file

*_do_db和*_ignore_db都會在資料庫test上過濾DELETE語句，而不是在sakila上。這通常不是想要的結果，可能會導致執行或忽略錯誤的語句。

總結：Statement-based跟當前use的庫有關，Row-based更直接，只關心指定的庫‘做或不做’。

除replicate-wild-do-table=/replicate-wild-ignore-table=外，其他過濾規則會受到“binlog_format”以及“當前所在庫”的影響（即所謂的跨庫問題）