MySQL 每秒 570000 的寫入,如何實現?
原始碼精品專欄
來源:t.cn/E2TbCg5
-
一、需求
-
二、實現再分析
-
三、XeLabs TokuDB 介紹
-
四、測試表
-
五、測試環境說明
一、需求
一個朋友接到一個需求,從大資料平臺收到一個數據寫入在20億+,需要快速地載入到MySQL中,供第二天業務展示使用。
二、實現再分析
對於單表20億, 在MySQL運維,說真的這塊目前涉及得比較少,也基本沒什麼經驗,但對於InnoDB單表Insert 如果記憶體大於資料情況下,可以維持在10萬-15萬行寫入。 但很多時間我們接受的專案還是資料超過記憶體的。 這裡使用XeLabs TokuDB做一個測試。
三、XeLabs TokuDB 介紹
相對官方TokuDB的優化:
-
內建了jemalloc 記憶體分配
-
引入更多的內建的TokuDB效能指標
-
支援Xtrabackup備份
-
引入ZSTD壓縮演算法
-
支援TokuDB的binlog_group_commit特性
四、測試表
TokuDB核心配置:
loose_tokudb_cache_size=4G loose_tokudb_directio=ON loose_tokudb_fsync_log_period=1000 tokudb_commit_sync=0 複製程式碼
表結構
CREATE TABLE `user_summary` ( `user_id` bigint(20) unsigned NOT NULL COMMENT '使用者id/手機號', `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)', `level` varchar(20) DEFAULT NULL COMMENT '重量級', `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率', `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數', UNIQUE KEY `u_user_id` (`user_id`) ) ENGINE=TokuDB DEFAULT CHARSET=utf8 複製程式碼
利用load data寫入資料
root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' \ INTO TABLE user_summary(user_id, weight, level, beat_rate,level_num); Query OK, 200000000 rows affected (5 min 48.30 sec) Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0 複製程式碼
計算一下每秒寫入速度:
root@localhost [zst]>select 200000000/(5*60+48.30); +------------------------+ | 200000000/(5*60+48.30) | +------------------------+ | 574217.6285 | +------------------------+ 1 row in set (0.00 sec) 複製程式碼
檔案大小:
-rw-r--r-- 1 root root 8.5G 11月 25 20:05 134-136.txt -rw-r----- 1 mysql mysql 8.6K 11月 25 20:44 user_summary.frm -rw-r----- 1 mysql mysql 3.5G 11月 25 20:51 user_summary_main_229_1_1d_B_0.tokudb 複製程式碼
實際檔案8.5G,寫入TokuDB大小3.5G,只是接近於一半多點的壓縮量。 對於20億資料寫入,實際測試在58分鐘多點就可以完成。可以滿足實際需求,另外對於磁碟IO比較好的機器(SSD類盤,雲上的雲盤),如果記憶體和資料差不多情況,這量級資料量測試在Innodb裡需要新增自增列,可以在3個小多一點完成。 從最佳實戰上來看,Innodb和TokuDB都寫入同樣的資料,InnoDB需要花大概是TokuDB3-4倍時間。檔案大小區別,同樣20億資料:
-rw-r----- 1 mysql mysql 35G 11月 25 23:29 user2_main_26a_1_1d_B_0.tokudb -rw-r----- 1 mysql mysql 176G 11月 26 03:32 user5.ibd 複製程式碼
檔案大小在5倍大小的區別。
測試結論:
利用TokuDB在某雲環境中8核8G記憶體,500G高速雲盤環境,多次測試可以輕鬆實現57萬每秒的寫入量。
另外測試幾種場景也供大家參考: 如果在TokuDB中使用帶自增的主鍵,主鍵無值讓MySQL內部產生寫入速度,下降比較明顯,同樣寫入2億資料,帶有自建主鍵:
root@localhost [zst]>CREATE TABLE `user3` ( -> `user_id` bigint(20) unsigned NOT NULL COMMENT '使用者id/手機號', -> `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)', -> `level` varchar(20) DEFAULT NULL COMMENT '重量級', -> `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率', -> `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數', -> `id` bigint(20) NOT NULL AUTO_INCREMENT, -> PRIMARY KEY (`id`), -> UNIQUE KEY `u_user_id` (`user_id`) -> ) ENGINE=TokuDB; Query OK, 0 rows affected (0.03 sec) root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' INTO TABLE user3(user_id, weight, level, beat_rate,level_num); Query OK, 200000000 rows affected (22 min 43.62 sec) Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0 複製程式碼
同樣的資料寫入在主鍵自增無值產生時,不能使用TokuDB的 Bulk loader data特性,相當於轉換為了單條的Insert實現,所以效果上慢太多。
關於TokuDB Bulk Loader前提要求,這個表是空表,對於自增列,如自增列有值的情況下,也可以使用。 建議實際使用中,如果自增列有值的情況下,可以考慮去除自增屬性,改成唯一索引,這樣減少自增的一些處理邏輯,讓TokuDB能跑地更快一點。 另外在Bulk Loader處理中為了追求更快速的寫入,壓縮方面並不是很好。
關於TokuDB Bulk Loader :github.com/percona/Per…
五、測試環境說明
測試使用CentOS7環境,編譯的XeLabs TokuDB版本百度雲地址:pan.baidu.com/s/1qYRyH3I 。