mysql 批量插入
阿新 • • 發佈:2018-11-16
背景
前幾天在MySql上做分頁時,看到有博文說使用 limit 0,10 方式分頁會有丟資料問題,有人又說不會,於是想自己測試一下。測試時沒有資料,便安裝了一個MySql,建了張表,在建了個while迴圈批量插入10W條測試資料的時候,執行時間之長無法忍受,便查資料找批量插入優化方法,這裡做個筆記。
資料結構
尋思著分頁時標準列分主鍵列、索引列、普通列3種場景,所以,測試表需要包含這3種場景,建表語法如下:
drop table if exists `test`.`t_model`;
Create table `test`.`t_model`(
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主鍵',
`uid` bigint COMMENT '業務主鍵',
`modelid` varchar(50) COMMENT '字元主鍵',
`modelname` varchar(50) COMMENT '名稱',
`desc` varchar(50) COMMENT '描述',
primary key (`id`),
UNIQUE index `uid_unique` (`uid`),
key `modelid_index` (`modelid`) USING BTREE
) ENGINE=InnoDB charset=utf8 collate =utf8_bin;
為了方便操作,插入操作使用儲存過程通過while迴圈插入有序資料,未驗證其他操作方式或迴圈方式的效能。
執行過程
1、使用最簡單的方式直接迴圈單條插入1W條,語法如下:
drop procedure if exists my_procedure;
delimiter //
create procedure my_procedure()
begin
DECLARE n int DEFAULT 1;
WHILE n < 10001 DO
insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT ('id20170831',n),CONCAT('name',n),'desc');
set n = n + 1;
END WHILE;
end
//
delimiter ;
插入1W條資料,執行時間大概在6m7s,按照這個速度,要插入1000W級資料,估計要跑幾天。
2、於是,構思加個事務提交,是否能加快點效能呢?測試每1000條就commit一下,語法如下:
delimiter //
create procedure u_head_and_low_pro()
begin
DECLARE n int DEFAULT 17541;
WHILE n < 10001 DO
insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc');
set n = n + 1;
if n % 1000 = 0
then
commit;
end if;
END WHILE;
end
//
delimiter ;
執行時間6 min 16 sec,與不加commit執行差別不大,看來,這種方式做批量插入,效能是很低的。
3、使用儲存過程生成批量插入語句執行批量插入插入1W條,語法如下:
drop procedure IF EXISTS u_head_and_low_pro;
delimiter $$
create procedure u_head_and_low_pro()
begin
DECLARE n int DEFAULT 1;
set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
set @exedata = '';
WHILE n < 10001 DO
set @exedata = concat(@exedata,"(",n,",","'id20170831",n,"','","name",n,"','","desc'",")");
if n % 1000 = 0
then
set @exesql = concat(@exesql,@exedata,";");
prepare stmt from @exesql;
execute stmt;
DEALLOCATE prepare stmt;
commit;
set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
set @exedata = "";
else
set @exedata = concat(@exedata,',');
end if;
set n = n + 1;
END WHILE;
end;$$
delimiter ;
執行時間 3.308s。
總結
批量插入時,使用insert的values批量方式插入,執行速度大大提升。