MySQL 5.7臨時表空間怎麼玩才能不掉坑裡
導讀
MySQL 5.7起支援獨立臨時表空間,但個別時候也可能會踩坑的。
MySQL 5.7起,開始採用獨立的臨時表空間(和獨立的undo表空間不是一回事喲),命名ibtmp1檔案,初始化12M,且預設無上限。
選項 innodb_temp_data_file_path 可配置臨時表空間相關引數。
innodb_temp_data_file_path = ibtmp1:12M:autoextend
臨時表空間的幾點說明
-
臨時表空間不像普通InnoDB表空間那樣,不支援裸裝置(raw device)。
-
臨時表空間使用動態的表空間ID,因此每次重啟時都會變化(每次重啟時,都會重新初始化臨時表空間檔案)。
-
當選項設定錯誤或其他原因(許可權不足等原因)無法建立臨時表空間時,mysqld例項也無法啟動。
-
臨時表空間中儲存這非壓縮的InnoDB臨時表,如果是壓縮的InnoDB臨時表,則需要單獨儲存在各自的表空間檔案中,檔案存放在 tmpdir(/tmp)目錄下。
-
臨時表元資料儲存在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 檢視中。
有時執行SQL請求時會產生臨時表,極端情況下,可能導致臨時表空間檔案暴漲,幫人處理過的案例中最高漲到快300G,比以前遇到的 ibdata1 檔案暴漲還要猛…
臨時表使用的幾點建議
-
設定 innodb_temp_data_file_path
-
檢查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO,找到最大的臨時表對應的執行緒,kill之即可釋放,但 ibtmp1 檔案則不能釋放(除非重啟)。
-
擇機重啟例項,釋放 ibtmp1 檔案,和 ibdata1 不同,ibtmp1 重啟時會被重新初始化而 ibdata1 則不可以。
-
定期檢查執行時長超過N秒(比如N=300)的SQL,考慮幹掉,避免垃圾SQL長時間執行影響業務。
附:臨時表測試案例
表DDL
CREATE TEMPORARY TABLE `tmp1` ( `id` int(10) unsigned NOT NULL DEFAULT '0', `name` varchar(50) NOT NULL DEFAULT '', `aid` int(10) unsigned NOT NULL AUTO_INCREMENT, `nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL, `nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL, PRIMARY KEY (`aid`), KEY `name` (`name`), KEY `id` (`id`), KEY `nid` (`nid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8
原表大小隻有 120MB,從這個表直接 INSERT…SELECT 導資料到tmp1表。
-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd
生成臨時表(去掉虛擬列,臨時表不支援虛擬列,然後寫入資料),還更大了(我也不解,以後有機會再追查原因)。
-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1
檢視臨時表元資料資訊
[email protected] [test]>select * from
INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
TABLE_ID: 405
NAME: #sql14032_300000005_3
N_COLS: 6
SPACE: 421
PER_TABLE_TABLESPACE: FALSE
IS_COMPRESSED: FALSE
再刪除索引,結果,又更大了
-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1
第二次測試刪除索引後,變成了200M(因為第二次測試時,我設定了臨時表最大200M)
innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M
-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1
執行一個會產生臨時表的慢SQL。
注:MySQL 5.7起,執行UNION ALL不再產生臨時表(除非需要額外排序)。
[email protected] [test]>explain select * from tmp1 union
select id,name,aid from sid\G
*************************** 1. row ***************************
id: 1
select_type: PRIMARY
table: tmp1
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 3986232
filtered: 100.00
Extra: NULL
*************************** 2. row ***************************
id: 2
select_type: UNION
table: sid
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 802682
filtered: 100.00
Extra: NULL
*************************** 3. row ***************************
id: NULL
select_type: UNION RESULT
table: <union1,2>
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: NULL
filtered: NULL
Extra: Using temporary
檔案漲到588M還沒結束,我直接給卡了
-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1
第二次測試時,設定了臨時表空間檔案最大200M,再執行會報錯:
[email protected] [test]>select * from tmp1 union
select id,name,aid from sid;
ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full
轉自:老葉茶館