1. 程式人生 > >踩坑經歷(十五)SQL優化利器——記憶體表

踩坑經歷(十五)SQL優化利器——記憶體表

臨時表與記憶體表

記憶體表,就是放在記憶體中的表,所使用記憶體的大小可通過My.cnf中的max_heap_table_size指定,如max_heap_table_size=1024M。

記憶體表與臨時表並不相同,臨時表也是存放在記憶體中,臨時表最大所需記憶體需要通過tmp_table_size = 128M設定。當資料超過臨時表的最大值設定時,自動轉為磁碟表,此時因需要進行IO操作,效能會大大下降,而記憶體表不會,記憶體表滿後,會提示資料滿錯誤。


建立記憶體表
create table test
(
    id int unsigned not null auto_increment primary key,
    state char(10),
    type char(20),
    date char(30)
)ENGINE=MEMORY DEFAULT CHARSET=utf8;
記憶體表特性
  1. 記憶體表的表定義是存放在磁碟上的,副檔名為.frm, 所以重啟不會丟失。
  2. 記憶體表的資料是存放在記憶體中的,所以重啟會丟失資料。
  3. 記憶體表使用一個固定的記錄長度格式。
  4. 記憶體表不支援BLOB或TEXT列,比如varchar與text欄位就不會被支援。
  5. 記憶體表支援AUTO_INCREMENT列和對可包含NULL值的列的索引(網上大多說不支援,這是錯誤的)。記憶體表支援大於(>) 小於( <)操作,網上也說不支援。
  6. mysql重啟後,主鍵、自增、索引仍然存在,只是資料丟失。這也是對網上的一些錯誤文字糾正。
  7. 記憶體表表在所有客戶端之間共享(就像其它任何非TEMPORARY表)。
  8. MEMORY儲存引擎執行HASH和BTREE索引。你可以通過新增一個如下所示的USING子句為給定的索引指定一個或另一個。

記憶體表的使用

記憶體表使用雜湊雜湊索引把資料儲存在記憶體中,因此具有極快的速度,適合快取中小型資料庫,但是使用上受到一些限制。

  1. heap對所有使用者的連線是可見的,這使得它非常適合做快取。
  2. 僅適合使用的場合。heap不允許使用xxxTEXT和xxxBLOB資料型別。注:操作符 “<=>” 說明:NULL-safe equal.這個操作符和“=”操作符執行相同的比較操作,不過在兩個操作碼均為NULL時,其所得值為1而不為NULL,而當一個操作碼為NULL時,其所得值為0而不為NULL。
  3. 一旦伺服器重啟,所有heap表資料丟失,但是heap表結構仍然存在,因為heap表結構是存放在實際資料庫路徑下的,不會自動刪除。重啟之後,heap將被清空,這時候對heap的查詢結果都是空的。
  4. 如果heap是複製的某資料表,則複製之後所有主鍵、索引、自增等格式將不復存在,需要重新新增主鍵和索引,如果需要的話。
  5. 對於重啟造成的資料丟失,有以下的解決辦法:
    1. 在任何查詢之前,執行一次簡單的查詢,判斷heap表是否存在資料,如果不存在,則把資料重新寫入,或者DROP表重新複製某張表。這需要多做一次查詢。不過可以寫成include檔案,在需要用該heap表的頁面隨時呼叫,比較方便。
    2. 對於需要該heap表的頁面,在該頁面第一次且僅在第一次查詢該表時,對資料集結果進行判斷,如果結果為空,則需要重新寫入資料。這樣可以節省一次查詢。
    3. 更好的辦法是在mysql每次重新啟動時自動寫入資料到heap,但是需要配置伺服器,過程比較複雜,通用性受到限制。

最佳實踐

已經不能再優化的SQL,採用記憶體表的處理方式,14w條資料,更新速度從3000多秒提升到80多秒

 update t
		 set exchange=(select dict_val from sys_dict_item where dict_pid=(select id from sys_dict where dict_code='exchange') and dict_key=exchange)
				 where length(exchange)<3 and exchange is not null and  statisticdate=proc_statisticdate;