目錄

1 MySQL工具mysqlbinlog

mysqlbinlog工具的作用是解析mysql的二進位制binlog日誌內容，把二進位制日誌解析成可以在MySQL資料庫裡執行的SQL語句。

[[email protected] ~]# ls -l /data/3306/mysql-bin.00000*
-rw-rw---- 1 mysql mysql   1520 May 30 17:00 /data/3306/mysql-bin.000001
-rw-rw---- 1 mysql mysql    126 May 30 17:00 /data/3306/mysql-bin.000002
-rw-rw---- 1 mysql mysql    126
 
 May 31 09:34 /data/3306/mysql-bin.000003
-rw-rw---- 1 mysql mysql    126 May 31 09:38 /data/3306/mysql-bin.000004
-rw-rw---- 1 mysql mysql 564055 Jun  3 17:49 /data/3306/mysql-bin.000005
-rw-rw---- 1 mysql mysql   5316 Jun  5 19:06 /data/3306/mysql-bin.000006
-rw-rw---- 1 mysql mysql   3536 Jun  5 21:51 /data/3306/mysql-bin.000007
[[email protected]
 
 ~]# grep "log-bin" /data/3306/my.cnf
log-bin = /data/3306/mysql-bin

必須要開啟log-bin功能才能生成上述檔案

1.1 mysql的binlog日誌作用

mysql的binlog日誌作用是用來記錄mysql內部增刪改等對mysql資料庫有更新的內容的記錄（對資料庫的改動），對資料庫查詢的語句如show，select開頭的語句，不會被binlog日誌記錄。
binlog的主要作用是，用於資料庫的主從複製以及資料庫的增量恢復。

1.2 mysqlbinlog工具解析日誌

預設情況下，bin-log日誌是二進位制格式的，不能使用cat、vi等文字工具來檢視

[[email protected] ~]# file /data/3306/mysql-bin.000001
/data/3306/mysql-bin.000001: MySQL replication log

# 解析
# 建立一個RSQ資料庫
mysql> create database RSQ;
Query OK, 1 row affected (0.00 sec)

mysqlbinlog /data/3306/mysql-bin.000007
......
# at 3536
#180606  3:43:38 server id 1  end_log_pos 3617  Query   thread_id=104   exec_time=0     error_code=0
SET TIMESTAMP=1528227818/*!*/;
SET @@session.foreign_key_checks=1, @@session.unique_checks=1/*!*/;
SET @@session.sql_mode=0/*!*/;
/*!\C latin1 *//*!*/;
SET @@session.character_set_client=8,@@session.collation_connection=8,@@session.collation_server=33/*!*/;
create database RSQ
/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET [email protected]_COMPLETION_TYPE*/;

mysqlbinlog工具分庫匯出binlog，如果使用-d引數，那更新資料時，必須有use databases，才能分出指定庫的binlog
按照位置擷取：精確

mysqlbinlog mysqlbin.000020 --start-position=365 --stop-position=456 -r pos.sql
# 指定開始位置，不指定結束位置，那麼會自動到結尾
mysqlbinlog mysqlbin.000020 --start-position=365 -r pos.sql
# 制定結束位置，不指定開始位置，那麼會自動匹配前邊所有
mysqlbinlog mysqlbin.000020 --stop-position=456 -r pos.sql

按照時間擷取：模糊、不準確

mysqlbinlog mysqlbin.000020 --start-datetime='2018-06-05 17:14:15' --stop-datetime=2018-06-05 17:15:15'' -r time.sql
# 指定開始時間，不指定結束時間，那麼會自動匹配到最新
mysqlbinlog mysqlbin.000020 --start-datetime='2018-06-05 17:14:15' -r time.sql
# 指定結束時間，不指定開始時間，那麼會自動匹配到最老的時間
mysqlbinlog mysqlbin.000020 --stop-datetime=2018-06-05 17:15:15'' -r time.sql

1.3 mysqlbinlog命令

1、把binlog解析為sql語句（包含位置和時間點）
2、-d引數根據指定庫拆分binlog（拆分單表binlog可通過SQL關鍵字過濾）
3、通過位置引數擷取部分binlog：–start-position=365 –stop-position=456，精確定位取部分內容。
4、通過時間引數擷取部分binlog：–start-datetime=’2018-06-05 17:14:15’ –stop-datetime=2018-06-05 17:15:15”，模糊取部分內容，會丟資料。
5、-r 檔名，相當於重定向 “>檔名”
6、解析ROW級別的binlog日誌方法
mysqlbinlog –base64-output=decode-rows -v mysql-bin.00016
mysqlbinlog –base64-output=decode-rows –verbose mysql-bin.00004

2 MySQL資料庫服務常用日誌

2.1 錯誤日誌

MySQL的錯誤日誌（error log）記錄MySQL服務程序mysqld在啟動/關閉或執行過程中遇到的錯誤資訊；
開啟此日誌功能需要在配置檔案新增或者mysql中新增

# 配置檔案中新增
[mysqld_safe]
log-error=/data/3306/mysql_oldboy3306.err

# mysq中新增
mysqld_safe --default-file=/data/3306/my.cnf --log-error=/data/3306/mysql_oldboy.err &

2.2 錯誤日誌排查思路

1、先把日誌檔案備份並清空啟動一下mysql服務，然後再檢視日誌檔案報有什麼錯誤
2、然後把mysql的3306目錄下面所有檔案都加上屬主並且遞迴-R
3、然後檢視一下有沒有這個mysql ID
4、重新啟動mysql服務
5、此時再檢視一下服務有沒有啟動起來

2.3 慢查詢日誌

慢查詢日誌(show query log)記錄執行時間超出指定值(long_query_time)的SQL語句；

慢查詢日誌（show query log）調整：

vim /data/3306/my.cnf

long_query_time = 1
log-slow-queries = /data/3306/slow.log
log_queries_not_using_indexes
慢查詢的設定，對於資料庫SQL的優化很重要
egrep "query" /data/3306/my.cnf|tail -3

2.4 二進位制日誌

二進位制日誌（binary log）：記錄資料被修改的相關資訊；
二進位制日誌（binary log）調整：

mysql> show variables like '%log_bin%';
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| log_bin                         | ON    |     # 記錄binlog開關
| log_bin_trust_function_creators | OFF   |
| sql_log_bin                     | ON    |     # 臨時不記錄binlog開關（增量恢復）
+---------------------------------+-------+

3 MySQL binlog的幾種模式

3.1 Row Level

日誌中會記錄成每一行資料被修改的形式，然後在slave端再對相同的資料進行修改。
優點：在rowlevel模式下，bin-log中可以不記錄執行的sql語句的上下文相關的資訊，僅僅只需要記錄那一條記錄被修改了，修改成什麼樣了。所以row level的日誌內容會非常清楚的記錄下每一行資料修改的細節，非常容易理解。而且不會出現某些特定情況下的儲存過程或function,以及trigger的呼叫和觸發無法被正確複製的問題。
**缺點：**row level下，所有的執行的語句當記錄到日誌中的時候，都將以每行記錄的修改來記錄,這樣可能會產生大量的日誌內容,比如有這樣一條update語句: update product set owner_member_id = 'b' where owner_member_id='a',執行之後，日誌中記錄的不是這條update語句所對應事件(MySQL以事件的形式來記錄bin-log日誌)，而是這條語句所更新的每一條記錄的變化情況，這樣就記錄成很多條記錄被更新的很多個事件。自然，bin-log日誌量就會很大。尤其是當執行alter table之類的語句的時候，產生的日誌量是驚人的。

3.2 Statement Level（預設）

每一條被修改資料的sql都會記錄到master的bin-log中。slave在複製的時候sql程序會解析成和原來的master端執行的相同的sql來再次執行。
優點： statement level下的優點首先就是解決了row level下的缺點，不需要記錄每一行資料的變化，減少bin-log日誌量，節約IO，提高效能。因為他只需要記錄在Master上所執行的語句細節，以及執行語句時候的上下文的資訊。
缺點：由於他是記錄的執行語句，所以，為了讓這些語句在salve端也能正確執行，那麼他還必須記錄每條語句在執行的時候的一些相關資訊，也就是上下文資訊，以保證所有語句在slave端被執行的時候能夠得到和在master端執行時候相同的結果。

3.3 Mixed（推薦）

實際上就是前兩種模式的結合。在Mixed模式下，MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式，也就是在Statement和Row之間選擇一種。新版本中的Statement level還是和以前一樣，僅僅記錄執行的語句。而新版本的MySQL中對row level模式也做了優化，並不是所有的修改都會以row level來記錄，像遇到的表結構變更的時候就會以statement模式來記錄，如果sql語句確實就是update或者delete等修改資料的語句，那麼還是會記錄所有行的變更。

3.4 MySQL生產環境binlog模式選擇

• 1、互朕網公司,使用MysQL的功能相対少(儲存過程、觸發器、函式)。選擇預設的語句模式,StatementLevel （預設）
• 2、公司如果用到使用MysQL的特殊功能(儲存過程、觸發器、函式)。則選擇Mixed模式
• 3、公司如果用到使用MySQL的特殊功能(儲存過程、觸發器、函式) ,又希望資料最大化一致,此吋最好Row level模式。

log-bin=mysql-bin
#binlog_format = "STATEMENT"
#binlog_format = "ROW"
binlog_format = "MIXED"

# 檢視預設binlog模式：
mysql> show variables like "%binlog_format%";
+---------------+-----------+
| Variable_name | Value     |
+---------------+-----------+
| binlog_format | STATEMENT |
+---------------+-----------+
1 row in set (0.00 sec)

# 臨時生效
mysql> set global binlog_format= 'ROW';
Query OK, 0 rows affected (0.00 sec)
mysql> show global variables like "%binlog_format%";
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

# 在配置檔案修改binlog模式為MIXED，永久生效
vim /data/3306/my.cnf
[mysqld]
binlog_format = "MIXED"

/data/3306/mysql stop
/data/3306/mysql start

mysql -uroot -p123456 -S /data/3306/mysql.sock
mysql> show variables like "%binlog_format%";
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | MIXED |
+---------------+-------+
1 row in set (0.00 sec)