1. 程式人生 > >MySQL 5.7臨時表空間怎麼玩才能不掉坑裡

MySQL 5.7臨時表空間怎麼玩才能不掉坑裡

導讀

MySQL 5.7起支援獨立臨時表空間,但個別時候也可能會踩坑的。

MySQL 5.7起,開始採用獨立的臨時表空間(和獨立的undo表空間不是一回事喲),命名ibtmp1檔案,初始化12M,且預設無上限。

選項 innodb_temp_data_file_path 可配置臨時表空間相關引數。

innodb_temp_data_file_path = ibtmp1:12M:autoextend

臨時表空間的幾點說明

  • 臨時表空間不像普通InnoDB表空間那樣,不支援裸裝置(raw device)。

  • 臨時表空間使用動態的表空間ID,因此每次重啟時都會變化(每次重啟時,都會重新初始化臨時表空間檔案)。

  • 當選項設定錯誤或其他原因(許可權不足等原因)無法建立臨時表空間時,mysqld例項也無法啟動。

  • 臨時表空間中儲存這非壓縮的InnoDB臨時表,如果是壓縮的InnoDB臨時表,則需要單獨儲存在各自的表空間檔案中,檔案存放在 tmpdir(/tmp)目錄下。

  • 臨時表元資料儲存在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 檢視中。

有時執行SQL請求時會產生臨時表,極端情況下,可能導致臨時表空間檔案暴漲,幫人處理過的案例中最高漲到快300G,比以前遇到的 ibdata1 檔案暴漲還要猛…

臨時表使用的幾點建議

  • 設定 innodb_temp_data_file_path

     選項,設定檔案最大上限,超過上限時,需要生成臨時表的SQL無法被執行(一般這種SQL效率也比較低,可藉此機會進行優化)。

  • 檢查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO,找到最大的臨時表對應的執行緒,kill之即可釋放,但 ibtmp1 檔案則不能釋放(除非重啟)。

  • 擇機重啟例項,釋放 ibtmp1 檔案,和 ibdata1 不同,ibtmp1 重啟時會被重新初始化而 ibdata1 則不可以。

  • 定期檢查執行時長超過N秒(比如N=300)的SQL,考慮幹掉,避免垃圾SQL長時間執行影響業務。

附:臨時表測試案例

表DDL

CREATE TEMPORARY TABLE `tmp1` (
  `id` int(10) unsigned NOT NULL DEFAULT '0',
  `name` varchar(50) NOT NULL DEFAULT '',
  `aid` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,
  `nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,
  PRIMARY KEY (`aid`),
  KEY `name` (`name`),
  KEY `id` (`id`),
  KEY `nid` (`nid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

原表大小隻有 120MB,從這個表直接 INSERT…SELECT 導資料到tmp1表。

-rw-r-----  1 yejr  imysql   120M Apr 14 10:52 /data/mysql/test/sid.ibd

生成臨時表(去掉虛擬列,臨時表不支援虛擬列,然後寫入資料),還更大了(我也不解,以後有機會再追查原因)。

-rw-r-----  1 yejr  imysql   140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1

檢視臨時表元資料資訊

[email protected] [test]>select * from 
 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
            TABLE_ID: 405
                NAME: #sql14032_300000005_3
              N_COLS: 6
               SPACE: 421
PER_TABLE_TABLESPACE: FALSE
       IS_COMPRESSED: FALSE

再刪除索引,結果,又更大了

-rw-r-----  1 yejr  imysql   204M Jun 25 09:57 /data/mysql/ibtmp1

第二次測試刪除索引後,變成了200M(因為第二次測試時,我設定了臨時表最大200M)

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M
-rw-r-----  1 yejr  imysql   200M Jun 25 10:15 /data/mysql/ibtmp1

執行一個會產生臨時表的慢SQL。
:MySQL 5.7起,執行UNION ALL不再產生臨時表(除非需要額外排序)。

[email protected] [test]>explain select * from tmp1 union 
  select id,name,aid from sid\G
*************************** 1. row ***************************
           id: 1
  select_type: PRIMARY
        table: tmp1
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 3986232
     filtered: 100.00
        Extra: NULL
*************************** 2. row ***************************
           id: 2
  select_type: UNION
        table: sid
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 802682
     filtered: 100.00
        Extra: NULL
*************************** 3. row ***************************
           id: NULL
  select_type: UNION RESULT
        table: <union1,2>
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: NULL
     filtered: NULL
        Extra: Using temporary

檔案漲到588M還沒結束,我直接給卡了

-rw-r-----  1 yejr  imysql   588M Jun 25 10:07 /data/mysql/ibtmp1

第二次測試時,設定了臨時表空間檔案最大200M,再執行會報錯:

[email protected] [test]>select * from tmp1 union 
 select id,name,aid from sid;

ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full

轉自:老葉茶館