1. 程式人生 > >MySQL數據庫十宗"罪"

MySQL數據庫十宗"罪"

mysql 數據庫

各位技術老鐵們,福利來了!今兒給大家說說數據庫中十大經典錯誤案例。老張我在剛開始學習數據庫的時候,真的是沒少走彎路,經常會遇到各種稀奇古怪的error信息,一般遇到報錯信息之後就很慌張,急需一個解決問題的辦法,跟無頭蒼蠅一樣,並會不加思索地把錯誤粘到百度上,希望趕緊查找一下有沒有好的處理問題的方法,省得被領導說能力不行。我想這個應該是剛從事數據庫的小白,都會遇到窘境。

老張我在這裏呢,給大家列舉MySQL數據庫中,最經典的十大錯誤案例,並附有處理問題的解決思路和方法,希望能給剛入行,或數據庫愛好者一些幫助,今後再遇到任何報錯,我們都可以很淡定地去處理。

學習任何一門技術的同時,其實就是自我修煉的過程。沈下心,嘗試去擁抱數據的世界!


Top 1:

Too many connections(連接數過多,導致連接不上數據庫,業務無法正常進行)

問題還原

mysql> show variables like ‘%max_connection%‘;
| Variable_name   | Value |
max_connections | 151   | 
mysql> set global max_connections=1;Query OK, 0 rows affected (0.00 sec)
[[email protected] ~]# mysql -uzs -p123456 -h 192.168.56.132
ERROR 1040 (00000): Too many connections


解決問題的思路:

1.首先先要考慮在我們mysql數據庫參數文件裏面 對應的max_connections這個參數值是不是設置的太小了,導致客戶端連接數超過了數據庫所承受的最大值。

該值默認大小是151,我們可以根據實際情況進行調整。

對應解決辦法:set global max_connections=500

但是這樣調整會有隱患,因為我們無法確認數據庫是否可以承擔這麽大的連接壓力,就好比原來一個人只能吃一個饅頭,但現在卻非要讓他吃10個,他肯定接受不了。反應到服務器上面,就有可能會出現宕機的可能。

所以這又反應出了,我們在新上線一個業務系統的時候,要做好壓力測試。保證後期對數據庫進行優化調整。

2.其次可以限制Innodb的並發處理數量,如果innodb_thread_concurrency = 0(這種代表不受限制) 可以先改成 16或是64 看服務器壓力,如果
非常大,可以先改的小一點讓服務器的壓力下來之後,然後再慢慢增大,根據自己的業務而定。個人建議可以先調整為16即可。

MySQL隨著連接數的增加性能是會下降的,在mysql5.7之前都需要讓開發配合設置thread pool,連接復用。mysql5.7之後數據庫自帶thread pool了,連接數問題也得到了相應的解決。

另外對於有的監控程序會讀取information_schema下面的表,可以考慮關閉下面的參數
innodb_stats_on_metadata=0
set global innodb_stats_on_metadata=0


Top 2:(主從復制報錯類型)

Last_SQL_Errno: 1062 (從庫與主庫數據沖突)

Last_Errno: 1062
   Last_Error: Could not execute Write_rows event on table test.t; 
   Duplicate entry ‘4‘ for key ‘PRIMARY‘, 
   Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; 
   the event‘s master log mysql-bin.000014, end_log_pos 1505


針對這個報錯,我們首先要考慮是不是在從庫中誤操作導致的。結果發現,我們在從庫中進行了一條針對有主鍵表的sql語句的插入,導致主庫再插入相同sql的時候,主從狀態出現異常。發生主鍵沖突的報錯。

解決方法:

在確保主從數據一致性的前提下,可以在從庫進行錯誤跳過。一般使用percona-toolkit中的pt-slave-restart進行。

在從庫完成如下操作

[[email protected] bin]# ./pt-slave-restart -uroot -proot123
2017-07-20T14:05:30 p=...,u=root node4-relay-bin.000002 1506 1062

之後最好在從庫中開啟 read_only 參數,禁止在從庫進行寫入操作


Last_IO_Errno: 1593(server-id沖突)

  Last_IO_Error: 
  Fatal error: The slave I/O thread stops because master and slave have equal MySQL server ids; 
  these ids must be different for replication to work 
  (or the --replicate-same-server-id option must be used on slave but this 
  does not always make sense; please check the manual before using it)


這個報錯出現之後,就看一目了然看到兩臺機器的server-id是一樣的。

在搭建主從復制的過程中,我們要確保兩臺機器的server-id是唯一的。這裏再強調一下server-id的命名規則(服務器ip地址的最後一位+本mysql服務的端口號)

解決方法:在主從兩臺機器上設置不同的server-id。


Last_SQL_Errno: 1032(從庫少數據,主庫更新的時候,從庫報錯)
Last_SQL_Error: Could not execute Update_rows event on table test.t; Can‘t find record in ‘t‘, Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event‘s master log mysql-bin.000014, end_log_pos 1708

解決問題的辦法:

根據報錯信息,我們可以獲取到報錯日誌和position號,然後就能找到主庫執行的哪條sql,導致的主從報錯。

在主庫執行:

/usr/local/mysql/bin/mysqlbinlog --no-defaults -v -v --base64-output=decode-rows /data/mysql/mysql-bin.000014 |grep -A 10 1708 > 1.log

cat 1.log

#170720 14:20:15 server id 3  end_log_pos 1708 CRC32 0x97b6bdec     Update_rows: table id 113 flags: STMT_END_F
### UPDATE `test`.`t`
### WHERE
###   @1=4 /* INT meta=0 nullable=0 is_null=0 */
###   @2=‘dd‘ /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
### SET
###   @1=4 /* INT meta=0 nullable=0 is_null=0 */
###   @2=‘ddd‘ /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
# at 1708
#170720 14:20:15 server id 3  end_log_pos 1739 CRC32 0xecaf1922     Xid = 654
COMMIT/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET [email protected]_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;


獲取到sql語句之後,就可以在從庫反向執行sql語句。把從庫缺少的sql語句補全,解決報錯信息。

在從庫依次執行:

mysql> insert into t (b) values (‘ddd‘);
Query OK, 1 row affected (0.01 sec)
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye
[[email protected] bin]# ./pt-slave-restart -uroot -proot123

2017-07-20T14:31:37 p=...,u=root node4-relay-bin.000005 283 1032


Top 3:

MySQL安裝過程中的報錯

[[email protected] data]# /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf &[1] 3758
[[email protected] data]# 170720 14:41:24 mysqld_safe Logging to ‘/data/mysql/error.log‘.
170720 14:41:24 mysqld_safe Starting mysqld daemon with databases from /data/mysql170720 
14:41:25 mysqld_safe mysqld from pid file /data/mysql/node4.pid ended
170720 14:41:24 mysqld_safe Starting mysqld daemon with databases from /data/mysql2017-07-20 
14:41:25 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. 
Please use --explicit_defaults_for_timestamp server option 
(see documentation for more details)./usr/local/mysql/bin/mysqld: 
File ‘/data/mysql/mysql-bin.index‘ not found (Errcode: 13 - Permission denied)
2017-07-20 14:41:25 4388 [ERROR] Aborting



解決思路:遇到這樣的報錯信息,我們要學會時時去關註錯誤日誌error log裏面的內容。

看見了關鍵的報錯點Permission denied.

證明當前mysql數據庫的數據目錄沒有權限。

解決方法:

[[email protected] data]# chown mysql:mysql -R mysql
[[email protected] data]# /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf &
[1] 4402
[[email protected] data]# 170720 14:45:56 mysqld_safe Logging to ‘/data/mysql/error.log‘.
170720 14:45:56 mysqld_safe Starting mysqld daemon with databases from /data/mysql

啟動成功。

如何避免這類問題,個人建議在安裝mysql初始化的時候,一定加上--user=mysql,這樣就可以避免權限問題。

./mysql_install_db --basedir=/usr/local/mysql/ --datadir=/data/mysql/ --defaults-file=/etc/my.cnf --user=mysql


Top 4:

數據庫密碼忘記的問題

[[email protected] ~]# mysql -uroot -p
Enter password: 
ERROR 1045 (28000): Access denied for user [email protected] (using password: YES)
[[email protected] ~]# mysql -uroot -p
Enter password: 
ERROR 1045 (28000): Access denied for user [email protected] (using password: YES)


我們有可能剛剛接手別人的mysql數據庫,而且沒有完善的交接文檔。root密碼可以丟失或者忘記了。

解決思路:

目前是進入不了數據庫的情況,所以我們要考慮是不是可以跳過權限。因為在數據庫中,mysql數據庫中user表記錄著我們用戶的信息。

解決方法:

啟動mysql數據庫的過程中,可以這樣執行:

/usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf --skip-grant-tables &

這樣啟動,就可以不用輸入密碼,直接進入mysql數據庫了。

然後在修改你自己想要改的root密碼即可

update mysql.user set password=password(‘root123‘) where user=‘root‘;


Top 5:

truncate刪除數據,導致自動清空自增ID,前端返回報錯 not found。

這個問題的出現,就要考慮下truncate和delete的區別了。

看下實驗演練:

首先先創建一張表;

CREATE TABLE `t` (
`a` int(11) NOT NULL AUTO_INCREMENT,
`b` varchar(20) DEFAULT NULL,
PRIMARY KEY (`a`),
KEY `b` (`b`)
) ENGINE=InnoDB AUTO_INCREMENT=300 DEFAULT CHARSET=utf8

插入三條數據:

mysql> insert into t (b) values (‘aa‘);
Query OK, 1 row affected (0.00 sec)
mysql> insert into t (b) values (‘bb‘);
Query OK, 1 row affected (0.00 sec)
mysql> insert into t (b) values (‘cc‘);
Query OK, 1 row affected (0.00 sec)
mysql> select * from t;
+-----+------+
| a | b |
+-----+------+
| 300 | aa |
| 301 | bb |
| 302 | cc |
+-----+------+
3 rows in set (0.00 sec)

先用delete進行刪除全表信息,再插入新值。


結果發現truncate把自增初始值重置了,自增屬性從1開始記錄了。當前端用主鍵id進行查詢時,就會報沒有這條數據的錯誤。

個人建議不要使用truncate對表進行刪除操作,雖然可以回收表空間,但是會涉及自增屬性問題。這些坑,我們不要輕易鉆進去。


Top 6:

阿裏雲mysql的配置文件中,需要註意一個參數設置就是:

lower_case_table_names = 0;默認情況

lower_case_table_names = 1;是不區分大小寫 . 如果報你小寫的表名找不到, 那你就把遠端數據庫的表名改成小寫 , 反之亦然 . 註意 Mybatis 的 Mapper 文件的所有表名也要相應修改


Top 7:

有同學經常會問張老師,為什麽我的數據庫總會出現中文亂碼的情況。一堆????不知道怎麽回事。當向數據庫中寫入創建表,並插入中文時,會出現這種問題

此報錯會涉及數據庫字符集的問題

解決思路:

對於中文亂碼的情況,記住老師告訴你的三個統一就可以。還要知道在目前的mysql數據庫中字符集編碼都是默認的UTF8

處理辦法:

  1. 數據終端,也就是我們連接數據庫的工具設置為utf8

  2. 操作系統層面可以通過cat /etc/sysconfig/i18n查看;也要設置為utf8

  3. 數據庫層面;在參數文件中的mysqld下,加入character-set-server=utf8。


Emoji表情符號錄入mysql數據庫中報錯。

Caused by: java.sql.SQLException: Incorrect string value: ‘\xF0\x9F\x98\x97\xF0\x9F...‘ for column ‘CONTENT‘ at row 1
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1074)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4096)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4028)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2490)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2651)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2734)
at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2155)
at com.mysql.jdbc.PreparedStatement.execute(PreparedStatement.java:1379)


解決思路:

針對表情插入的問題,一定還是字符集的問題。

處理方法:我們可以直接在參數文件中,加入
vim /etc/my.cnf

[mysqld]

init-connect=‘SET NAMES utf8mb4‘
character-set-server=utf8mb4

註:utf8mb4是utf8的超集。


Top 8:

使用binlog_format=statement這種格式,跨庫操作,導致從庫丟失數據,用戶訪問導致出現錯誤數據信息。

當前數據庫二進制日誌的格式為:binlog_format=statement

在主庫設置binlog-do-db=mydb1(只同步mydb1這一個庫)

在主庫執行use mydb2;

insert into mydb1.t1 values (‘bb‘);這條語句不會同步到從庫。

但是這樣操作就可以;

use mydb1;

insert into mydb1.t1 values (‘bb‘);因為這是在同一個庫中完成的操作。

在生產環境中建議使用binlog的格式為row,而且慎用binlog-do-db參數。


Top 9:

mysql數據庫連接超時的報錯 ;

org.hibernate.util.JDBCExceptionReporter - SQL Error:0, SQLState: 08S01
org.hibernate.util.JDBCExceptionReporter - The last packet successfully received from the server was43200 milliseconds ago.The last packet sent successfully to the server was 43200 milliseconds ago, which is longer than the server configured value of ‘wait_timeout‘. You should consider either expiring and/or testing connection validity before use in your application, increasing the server configured values for client timeouts, or using the Connector/J connection ‘autoReconnect=true‘ to avoid this problem.
org.hibernate.event.def.AbstractFlushingEventListener - Could not synchronize database state with session
org.hibernate.exception.JDBCConnectionException: Could not execute JDBC batch update
com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Connection.close() has already been called. Invalid operation in this state.
org.hibernate.util.JDBCExceptionReporter - SQL Error:0, SQLState: 08003
org.hibernate.util.JDBCExceptionReporter - No operations allowed after connection closed. Connection was implicitly closed due to underlying exception/error:
 ** BEGIN NESTED EXCEPTION **

大多數做DBA的同學,可能都會被開發人員告知,你們的數據庫報了這個錯誤了。趕緊看看是哪裏的問題。

這個問題是由兩個參數影響的,wait_timeout和interactive_timeout。數據默認的配置時間是28800(8小時)意味著,超過這個時間之後,MySQL數據庫為了節省資源,就會在數據庫端斷開這個連接,Mysql服務器端將其斷開了,但是我們的程序再次使用這個連接時沒有做任何判斷,所以就掛了。

解決思路:

先要了解這兩個參數的特性;這兩個參數必須同時設置,而且必須要保證值一致才可以。

我們可以適當加大這個值,8小時太長了,不適用於生產環境。因為一個連接長時間不工作,還占用我們的連接數,會消耗我們的系統資源。

解決方法:

可以適當在程序中做判斷;強烈建議在操作結束時更改應用程序邏輯以正確關閉連接;然後設置一個比較合理的timeout的值(根據業務情況來判斷)


Top 10 :

can‘t open file (errno:24)

有的時候,數據庫跑得好好的,突然報不能打開數據庫文件的錯誤了。

解決思路:

首先我們要先查看數據庫的error log

然後判斷是表損壞,還是權限問題

還有可能磁盤空間不足導致的不能正常訪問表;

操作系統的限制也要關註下;

用perror工具查看具體錯誤!
linux:/usr/local/mysql/bin # ./perror 24
OS error code 24: Too many open files
超出最大打開文件數限制!ulimit -n查看系統的最大打開文件數是65535,不可能超出!那必然是數據庫的最大打開文件數超出限制!

在mysql裏查看最大打開文件數限制命令:show variables like ‘open_files_limit‘;
發現該數值過小,改為2048,重啟mysql,應用正常

處理方法:

repair table ;

chown mysql權限

清理磁盤中的垃圾數據


今後還會繼續總結MySQL中的各種報錯處理思路與方法,希望跟各位老鐵們,同學們一起努力。多溝通多交流!



本文出自 “張甦的博客” 博客,請務必保留此出處http://sumongodb.blog.51cto.com/4979448/1949426

MySQL數據庫十宗"罪"