2. 程式人生 > >MySQL基礎系列之 記一次利用儲存過程實現2600萬資料水平分表

MySQL基礎系列之 記一次利用儲存過程實現2600萬資料水平分表

阿新 • • 發佈：2018-12-11

日常開發中我們經常會遇到大表的情況，所謂的大表是指儲存了百萬級乃至千萬級條記錄的表。這樣的表過於龐大，導致資料庫在查詢和插入的時候耗時太長，效能低下，如果涉及聯合查詢的情況，效能會更加糟糕。分表的目的就是減少資料庫的負擔，提高資料庫的效率，通常點來講就是提高表的增刪改查效率，本文將介紹我的一次利用儲存過程給一張2600萬資料的地址庫大表（資料網上下載也可以自己造）進行水平分表處理。對於MySQL儲存過程大家都瞭解，我就不介紹概念了，本文主要介紹分表的過程。我的上一篇文章也簡單介紹了儲存過程的一些語法、建立語句等，參考文章：https://blog.csdn.net/caiqing116/article/details/84843908

開門見山，進入正文。

1.建立IP地址庫總資料表

CREATE TABLE `tb_data_ipaddrlib_free` (
	`id` INT (11) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'id',
	`minip` INT (11) UNSIGNED DEFAULT NULL COMMENT 'IP 塊最小端 IP，整數形式',
	`maxip` INT (11) UNSIGNED DEFAULT NULL COMMENT 'IP 塊最大端 IP，整數形式',
	`continent` VARCHAR (16) DEFAULT NULL COMMENT '大洲',
	`areacode` VARCHAR (4) DEFAULT NULL COMMENT 'IP 塊所在國家的國家編碼',
	`country` VARCHAR (50) DEFAULT NULL COMMENT 'IP 塊所在國家',
	`multiarea` text COMMENT 'IP 塊定位資訊，是單或多區域',
	`user` VARCHAR (200) DEFAULT NULL COMMENT 'IP 使用者名稱',
	PRIMARY KEY (`id`)
	KEY `index_minip_maxip` (`minip`, `maxip`)
) AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;

2.建立IP地址區間和分表字尾關係表
在後面我將IP地址庫總表每100萬條IP地址記錄作為一條關聯記錄儲存，id值在這裡從1001開始累加（字尾都4位，這個可以自己定義2位3位都行）,作為分表的區分字尾，minip為這100萬條資料的開始ip，maxip為這100萬條資料的結束ip。以上這些定義是可以靈活變動的，根據個人需要定義，後續根據儲存過程插入記錄結果形如：

1000，minip1,maxip2
1001，minip3,maxip4
1002，minip5,maxip6

建表語句如下

DROP TABLE IF EXISTS tb_data_ipaddrlib_tables;
CREATE TABLE `tb_data_ipaddrlib_tables` (
	`id` INT (11) UNSIGNED  NOT NULL AUTO_INCREMENT COMMENT 'id',
	`minip` INT (11) UNSIGNED  DEFAULT NULL COMMENT 'IP 塊最小端 IP，整數形式',
	`maxip` INT (11) UNSIGNED  DEFAULT NULL COMMENT 'IP 塊最大端 IP，整數形式',
	PRIMARY KEY (`id`)
) DEFAULT CHARSET = utf8;

3.匯入IP地址庫總資料作為分表依據
Navicat for MySQL提供了匯入資料的功能，我們也可以根據tb_data_ipaddrlib_free表結構自己手動造資料，這裡就不詳細介紹怎麼導資料了。如果需要可以找我(評論區)。匯入結果如下，可以看到我這裡匯入了26407540條資料

在這裡插入圖片描述
資料格式如下
在這裡插入圖片描述
4.定義儲存過程為IP地址區間和動分表字尾關係表插入資料
每張表100萬資料，冗餘的插入在最後一張表，分表字尾從1001開始累加

DELIMITER //
create PROCEDURE proc_ip_split_tables()
begin
#定義變數 i 迴圈起始值，init分表字尾起始值，datanum每張表最大資料量， count分表個數
declare i int default  0; 
declare init int default  1001;
declare datanum int default 1000000;
declare count int ;
#計算出分表個數並賦值給count
select FLOOR(count(id) / datanum) into count from tb_data_ipaddrlib_free;
truncate tb_data_ipaddrlib_tables;
while i<= count do
    IF i = count THEN 
	insert into  tb_data_ipaddrlib_tables set 
		id = init + i,
		#查詢開始ip賦值
		minip = (select minip from tb_data_ipaddrlib_free where id = (1+datanum*i) ),
		#查詢結束ip賦值，最後一條記錄
		maxip = (select maxip from tb_data_ipaddrlib_free ORDER BY id desc limit 1 );
    ELSE
	insert into  tb_data_ipaddrlib_tables set
		id = init + i,
		#查詢開始ip賦值
		minip = (select minip from tb_data_ipaddrlib_free where id = (1+datanum*i) ),
		#查詢結束ip賦值
		maxip = (select maxip from tb_data_ipaddrlib_free where id = (datanum+datanum*i) );
    END IF;
set i = i+1;
end while;
end//
DELIMITER ;

執行此儲存過程 call proc_ip_split_tables();
根據2600萬+的資料量，每張表100萬，我們可以斷定會生成27張分表。結果如下：
在這裡插入圖片描述

5.定義儲存過程建立所有的分表

DELIMITER //
create PROCEDURE proc_ip_tables_create()
begin
#定義變數 i 迴圈起始值，init分表字尾起始值，datanum每張表最大資料量， count分表個數
declare i int default  0;
declare init int default  1001;
declare datanum int default 1000000;
declare count int;
#計算出分表個數並賦值給count
select FLOOR(count(id) / datanum) into count from tb_data_ipaddrlib_free;
#開始建立表
while i<= count do
	set @sql_create_table = concat(  
	'CREATE TABLE IF NOT EXISTS tb_data_ipaddrlib_free_',  init+i,  
	"(  
		`id` INT (11) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'id',
		`minip` INT (11) UNSIGNED DEFAULT NULL COMMENT 'IP 塊最小端 IP，整數形式',
		`maxip` INT (11) UNSIGNED DEFAULT NULL COMMENT 'IP 塊最大端 IP，整數形式',
		`continent` VARCHAR (16) DEFAULT NULL COMMENT '大洲',
		`areacode` VARCHAR (4) DEFAULT NULL COMMENT 'IP 塊所在國家的國家編碼',
		`country` VARCHAR (50) DEFAULT NULL COMMENT 'IP 塊所在國家',
		`multiarea` text COMMENT 'IP 塊定位資訊，是單或多區域',
		`user` VARCHAR (200) DEFAULT NULL COMMENT 'IP 使用者名稱',
		PRIMARY KEY (`id`),
		KEY `index_minip_maxip` (`minip`, `maxip`)
	) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8" );  
	PREPARE sql_create_table FROM @sql_create_table;		
	EXECUTE sql_create_table;
	set i = i+1;
end while; 
end//
DELIMITER ;

執行此儲存過程 call proc_ip_tables_create();
根據2600萬+的資料量，每張表100萬，我們可以斷定會生成27張分表。結果如下：
在這裡插入圖片描述

6.定義儲存過程為所有的分表插入資料

DELIMITER //
create PROCEDURE proc_ip_inserttotables()
BEGIN
#定義變數 i 迴圈起始值，init分表字尾起始值，datanum每張表最大資料量， count分表個數
declare i int default  0;
declare datanum int default 1000000;
declare init int default 1001;
declare count int ;
#計算出分表個數並賦值給count
select FLOOR(count(id) / datanum) into count from tb_data_ipaddrlib_free;
#開始插入資料
WHILE i<= count DO
    set @sql_insert_ip = CONCAT(
	'insert into  tb_data_ipaddrlib_free_',
	init+i,
	' select * from tb_data_ipaddrlib_free where minip BETWEEN (select minip from tb_data_ipaddrlib_tables where id =',
	init+i,
	' ) AND (select minip from tb_data_ipaddrlib_free where maxip in (select  maxip from tb_data_ipaddrlib_tables where id =',
	init+i,
	' )limit 1 )');
    set @sql_truncate_ip = CONCAT("truncate tb_data_ipaddrlib_free_", 1001+1);
PREPARE sql_truncate_ip FROM @sql_truncate_ip;
PREPARE sql_insert_ip FROM @sql_insert_ip;

EXECUTE sql_truncate_ip;
EXECUTE sql_insert_ip;
set i = i+1;
end WHILE;
end//
DELIMITER;

執行此儲存過程 call proc_ip_inserttotables();
驗證步驟1，我們可以查詢任意分表然後檢視是否是100萬條資料，檢視最後一張表1027是否是407504條資料
查詢分表1008驗證
在這裡插入圖片描述
查詢分表1027驗證
在這裡插入圖片描述
查詢某個ip（221.224.63.146）地址進行驗證
查詢此ip地址落在哪個分表

select * from tb_data_ipaddrlib_tables where INET_ATON('221.224.63.146') BETWEEN minip and maxip;

在這裡插入圖片描述
根據結果我們知道該ip落在了分表1025，我們根據此ip在tb_data_ipaddrlib_free_1025表查詢，看是否存在該ip記錄

select * from tb_data_ipaddrlib_free_1025 where INET_ATON('221.224.63.146') BETWEEN minip and maxip;

在這裡插入圖片描述
綜上根據儲存過程建立分表成功。

相關推薦

MySQL基礎系列之 記一次利用儲存過程實現2600萬資料水平分表

日常開發中我們經常會遇到大表的情況，所謂的大表是指儲存了百萬級乃至千萬級條記錄的表。這樣的表過於龐大，導致資料庫在查詢和插入的時候耗時太長，效能低下，如果涉及聯合查詢的情況，效能會更加糟糕。分表的目的就是減少資料庫的負擔，提高資料庫的效率，通常點來講就是提高表的增刪改查效率，本文將介紹我

mysql利用儲存過程實現對資料庫資料的遷移

CREATE DEFINER=`root`@`localhost` PROCEDURE `insertXX`() BEGIN declare AA int default 0; #聲明後續

記一次利用動態除錯so包破解協議 （2）

繼續上一篇https://blog.csdn.net/u014476720/article/details/83650566的操作 上一篇只分析出so包裡面的 buildParam2 裡面的加密方式，這一篇來看看buildParam1的加密方式 這裡分析是已使用者主頁的介

記一次利用動態除錯so包破解協議 （1）

前期工作： 1.設定手機為除錯模式，我這裡用了 mprop 相關命令： 1.chmod 755 /data/local/tmp/mprop 2.data/local/tmp/mprop 3.setprop ro.debuggable 1 4./data/local/tmp/mprop

MySQL基礎系列之 資料型別大全

MySQL中定義資料欄位的型別對你資料庫的優化是非常重要的。MySQL支援多種型別，大致可以分為三類：數值、日期/時間和字串(字元)型別。 數值型別 MySQL支援所有標準SQL數值資料型別。 這些型別包括嚴格數值資料型別(INTEGER、SMALLINT、DECIMAL和NUMERIC

MySQL基礎系列之 DCL資料控制語句大全

1. CREATE USER建立使用者 例：建立一個使用者 名為jeffrey 密碼mypass 主機localhost CREATE USER ‘jeffrey’ @‘localhost’ IDENTIFIED BY ‘mypass’; 使用者表檢視剛建立的使用者 SELECT * F

MySQL基礎系列之 DML資料操作語句CRUD大全

CRUD是指在做計算處理時的增加(Create)、讀取查詢(Retrieve)、更新(Update)和刪除(Delete)幾個單詞的首字母簡寫。CRUD主要被用在描述軟體系統中資料庫或者持久層的基本操作功能 下文中所用的表建立如下： CREATE TABLE tb_goods( id i

MySQL基礎系列之 DDL 資料定義語句大全

連線資料庫 mysql -u [使用者名稱] -h[host] -P[埠號] -p[密碼] mysql -u root -h【127.0.0.1】 -P3306 -p123456 檢視資料庫SHOW DATABASES databases 使用或切換資料庫 USE [資料庫名]

MySQL基礎系列之 DDL、DML和DCL的區別與理解

此文章主要介紹SQL資料庫的DDL、DML和DCL的區別與理解 一、DDL（data definition language） 資料定義語言，用於操作物件和物件的屬性 DDL用於操作物件和物件的屬性，這種物件包括資料庫本身，以及資料庫物件，像：表、檢視等等，DDL對這些物件和屬性的管理和

MySQL基礎系列之 儲存過程和函式

摘要：儲存過程和函式是事先經過編譯並存儲在資料庫中的一段SQL語句的集合 儲存過程無返回值，函式有返回值 儲存過程的引數可以使用IN、OUT、INOUT，函式只能使用IN 建立儲存過程 CREATE PROCEDURE 建立函式使用 CREATE FUNCTION 使用CALL語句來呼叫

MySQL基礎系列之 觸發器

1.觸發器 是一個特殊的儲存過程，只要當一個預定義的事件發生時就會被MySQL自動呼叫 2.建立觸發器的標準語句 CREATE TRIGGER trigger_name trigger_time trigger_event ONT tb_name FOR EACH ROW trigg

MySQL基礎系列之 檢視詳解

1.檢視的概念 檢視是虛表，是從一個或幾個基本表（或檢視）中匯出的表，在系統的資料字典中僅存放了檢視的定義，不存放檢視對應的資料，是一條SELECT語句執行後返回的結果集。 2.檢視的特性 檢視看上去非常像資料庫的物理表，對它的操作同任何其它的表一樣。當通過檢視修改資料時，實際上是在

WPScan使用完整教程之記一次對WordPress的滲透過程

WPScan使用完整教程之記一次對WordPress的滲透過程 渣渣一枚，萌新一個，會划水，會喊六六 本次簡單的記錄優下自己關於WPScan滲透實戰的案例，以及對於WPScan的一些使用方法，有什麼錯誤的地方希望各位大佬指正(Orz） 一：什麼是WPScan WPScan是一個掃描 WordPress

MySQL基礎系列之 Windows主機上安裝多個MySQL服務

1.正常安裝第一個MySQL服務（我這裡演示的是版本5.5） 2.將安裝的第一個MySQL服務的檔案拷貝一份，我的安裝在D:\softTool\MySQL目錄下 3.修改複製的MySQL服務的my.ini檔案 （1）第一個資料庫的預設埠是3306 這裡需要另外啟用一個埠 [clie

MySQL基礎系列之 Windows主機上搭建主從複製

1.首先要在本地建立2個MySQL服務（版本5.5），指定不同的埠。我這裡一個主（3306），一個從3308。 建立多個MySQL服務參考博文：https://blog.csdn.net/caiqing116/article/details/84899680 開門見山這裡先建立測試庫db

記一次利用vue.js完成的h5與app的互動

嘮叨：最近接收一個用vue寫的專案，對我來說甚是頭大。不得不說這是對傳統前端的一次大過濾，之前仗著html，css,js混飯吃的前端兒們，壓力越來越大，我就是這樣的一個例子。壓力越大，只要不放棄，成長的也越快啊，所以，咬牙就咔咔開始幹。 需求：一個H5分享頁面

記一次利用Wireshark玩轉騙子（任意qq好友IP精準定位）

正巧考完試閒下來被美女（頭像是美女，是男是女不知道）騙子盯上了，聊天內容太過（無法描述，自己腦補） 1先上一點聊天內容 本來就不想多理的，既然你想查戶口那我們就來吧 嘿嘿嘿！到這裡我就發現好玩了 2不逗了，上正文 開啟wireshark，設定本

網路爬蟲之記一次js逆向解密經歷

1 引言 數月前寫過某網站（請原諒我的掩耳盜鈴）的爬蟲，這兩天需要重新採集一次，用的是scrapy-redis框架，本以為二次爬取可以輕鬆完成的，可沒想到爬蟲啟動沒幾秒，出現了大堆的重試提示，心裡頓時就咯噔一下，悠閒時光估計要結束了。 仔細分析後，發現是獲取店鋪列表的請求出現問題，通過瀏覽器抓包，發現請求

記一次LVM修復過程

frp lvg dom open free cati suspend .html lvextend 進行以下操作前好好搜搜資料，我提供的資料只是供參考理解。數據很重要！！！ 寫在前面：創建lv的時候，建議在pv上留一些空間。 關鍵屬於：pv 物理卷，vg 卷組,

記一次腦殘的故障處理-萬兆網卡驅動升級

問題解決 細節 更改 版本 題解 centos 6 重復 早已 地址 環境 centos 6.5 x64 83599ES 萬兆網卡 旁路流量送到萬兆網卡 升級萬兆網卡驅動 重復過一萬次的操作,一鍵搞定;這裏有一個小細節,intel官網驅動有版本升級,之前的地址不能用了,