1. 程式人生 > >Mysql常見的水平分表

Mysql常見的水平分表

根據經驗,Mysql表資料一般達到百萬級別,查詢效率會很低,容易造成表鎖,甚至堆積很多連線,直接掛掉;水平分表能夠很大程度較少這些壓力。

1.按時間分表

這種分表方式有一定的侷限性,當資料有較強的實效性,如微博傳送記錄、微信訊息記錄等,這種資料很少有使用者會查詢幾個月前的資料,如就可以按月分表。

2.按區間範圍分表

一般在有嚴格的自增id需求上,如按照user_id水平分表: table_1  user_id從1~100w  table_2  user_id從101~200w  table_3  user_id從201~300w  ... 

3.hash分表

通過一個原始目標的ID或者名稱通過一定的hash演算法計算出資料儲存表的表名,然後訪問相應的表。 按如下分10張表:

  1. function get_hash_table($table, $userid)
  2. {
  3. $str = crc32($userid);
  4. if ($str < 0) {
  5. $hash = "0" . substr(abs($str), 0, 1);
  6. } else {
  7. $hash = substr($str, 0, 2);
  8. }
  9. return $table . "_" . $hash;
  10. }
  11. echo get_hash_table('message', 'user18991'); //結果為message_10
  12. echo get_hash_table('message', 'user34523'); //結果為message_13

另外,介紹我現在就是採用簡單的取模分表:

  1. /**
  2. * @param string $table_name 表名
  3. * @param int $user_id 使用者id
  4. * @param int $total 分表總數
  5. * @link http://www.phpddt.com
  6. */
  7. function hash_table($table_name, $user_id, $total)
  8. {
  9. return $table_name . '_' . (($user_id % $total) + 1);
  10. }
  11. echo hash_table("artice", 1234, 5); //artice_5
  12. echo hash_table("artice", 3243, 5); //artice_4

4.利用merge儲存引擎分表

感覺merge儲存引擎類似sql中union的感覺,但是查詢效率不高。 如下舉例,擁有1000w記錄的old_user表分表:(1)建立new_user表使用merge儲存引擎

  1. mysql> CREATE TABLE IF NOT EXISTS `user1` (
  2. ->   `id` int(11) NOT NULL AUTO_INCREMENT,
  3. ->   `name` varchar(50) DEFAULT NULL,
  4. ->   `sex` int(1) NOT NULL DEFAULT '0',
  5. ->   PRIMARY KEY (`id`)
  6. -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;
  7. Query OK, 0 rows affected (0.05 sec)
  8. mysql> CREATE TABLE IF NOT EXISTS `user2` (
  9. ->   `id` int(11) NOT NULL AUTO_INCREMENT,
  10. ->   `name` varchar(50) DEFAULT NULL,
  11. ->   `sex` int(1) NOT NULL DEFAULT '0',
  12. ->   PRIMARY KEY (`id`)
  13. -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;
  14. Query OK, 0 rows affected (0.01 sec)
  15. mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0);
  16. Query OK, 1 row affected (0.00 sec)
  17. mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1);
  18. Query OK, 1 row affected (0.00 sec)
  19. mysql> CREATE TABLE IF NOT EXISTS `new_user` (
  20. ->   `id` int(11) NOT NULL AUTO_INCREMENT,
  21. ->   `name` varchar(50) DEFAULT NULL,
  22. ->   `sex` int(1) NOT NULL DEFAULT '0',
  23. ->   INDEX(id)
  24. -> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;
  25. Query OK, 0 rows affected, 1 warning (0.00 sec)
  26. mysql> select id,name,sex from new_user;
  27. +----+--------+-----+
  28. | id | name   | sex |
  29. +----+--------+-----+
  30. |  1 | 張映 |   0 |
  31. |  1 | tank   |   1 |
  32. +----+--------+-----+
  33. 2 rows in set (0.00 sec)
  34. mysql> INSERT INTO `new_user` (`name`, `sex`) VALUES('tank2', 0);
  35. Query OK, 1 row affected (0.00 sec)
  36. mysql> select id,name,sex from user2
  37. -> ;
  38. +----+-------+-----+
  39. | id | name  | sex |
  40. +----+-------+-----+
  41. |  1 | tank  |   1 |
  42. |  2 | tank2 |   0 |
  43. +----+-------+-----+
  44. 2 rows in set (0.00 sec)

(2)我old_user資料進行分表:

  1. INSERT INTO user1(user1.id,user1.name,user1.sex) SELECT (user.id,user.name,user.sex)FROM old_user where user.id <= 5000000
  2. INSERT INTO user2(user2.id,user2.name,user2.sex) SELECT (user.id,user.name,user.sex)FROM old_user where user.id > 10000000

這種方案最大的好處是,幾乎不用動業務程式碼。

--------------------- 本文來自 woshihaiyong168 的CSDN 部落格 ,全文地址請點選:https://blog.csdn.net/woshihaiyong168/article/details/54881936?utm_source=copy