2. 程式人生 > >MySQL千萬級大表優化解決方案

MySQL千萬級大表優化解決方案

阿新 • • 發佈：2018-12-10

MySQL千萬級大表優化解決方案

非原創，純屬記錄一下。

背景

無意間看到了這篇文章，作者寫的很棒，於是乎，本人自私一把，把乾貨儲存下來。:-)

問題概述

使用阿里雲rds for MySQL資料庫（就是MySQL5.6版本），有個使用者上網記錄表6個月的資料量近2000萬，保留最近一年的資料量達到4000萬，查詢速度極慢，日常卡死。嚴重影響業務。

問題前提：老系統，當時設計系統的人大概是大學沒畢業，表設計和sql語句寫的不僅僅是垃圾，簡直無法直視。原開發人員都已離職，到我來維護，這就是傳說中的維護不了就跑路，然後我就是掉坑的那個！！！

我嘗試解決該問題，so，有個這個日誌。

方案概述

  • 方案一：優化現有mysql資料庫。優點：不影響現有業務，源程式不需要修改程式碼，成本最低。缺點：有優化瓶頸，資料量過億就玩完了。
  • 方案二：升級資料庫型別，換一種100%相容mysql的資料庫。優點：不影響現有業務，源程式不需要修改程式碼，你幾乎不需要做任何操作就能提升資料庫效能，缺點：多花錢
  • 方案三：一步到位，大資料解決方案，更換newsql/nosql資料庫。優點：沒有資料容量瓶頸，缺點：需要修改源程式程式碼，影響業務，總成本最高。

以上三種方案，按順序使用即可，資料量在億級別一下的沒必要換nosql，開發成本太高。三種方案我都試了一遍，而且都形成了落地解決方案。該過程心中慰問跑路的那幾個開發者一萬遍 :-)

方案一詳細說明：優化現有mysql資料庫

跟阿里雲資料庫大佬電話溝通 and Google解決方案 and 問群裡大佬，總結如下（都是精華）：

  • 1.資料庫設計和表建立時就要考慮效能
  • 2.sql的編寫需要注意優化
  • 4.分割槽
  • 4.分表
  • 5.分庫

1.資料庫設計和表建立時就要考慮效能

mysql資料庫本身高度靈活，造成效能不足，嚴重依賴開發人員能力。也就是說開發人員能力高，則mysql效能高。這也是很多關係型資料庫的通病，所以公司的dba通常工資巨高。

設計表時要注意：

  • 表字段避免null值出現，null值很難查詢優化且佔用額外的索引空間，推薦預設數字0代替null。
  • 儘量使用INT而非BIGINT，如果非負則加上UNSIGNED（這樣數值容量會擴大一倍），當然能使用TINYINT、SMALLINT、MEDIUM_INT更好。
  • 使用列舉或整數代替字串型別
  • 儘量使用TIMESTAMP而非DATETIME
  • 單表不要有太多欄位，建議在20以內
  • 用整型來存IP

索引

  • 索引並不是越多越好，要根據查詢有針對性的建立，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據EXPLAIN來檢視是否用了索引還是全表掃描

  • 應儘量避免在WHERE子句中對欄位進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描

  • 值分佈很稀少的欄位不適合建索引，例如"性別"這種只有兩三個值的欄位

  • 字元欄位只建字首索引

  • 字元欄位最好不要做主鍵

  • 不用外來鍵，由程式保證約束

  • 儘量不用UNIQUE，由程式保證約束

  • 使用多列索引時主意順序和查詢條件保持一致，同時刪除不必要的單列索引

    簡言之就是使用合適的資料型別，選擇合適的索引

# 選擇合適的資料型別
（1）使用可存下資料的最小的資料型別，整型 < date,time < char,varchar < blob
（2）使用簡單的資料型別，整型比字元處理開銷更小，因為字串的比較更復雜。如，int型別儲存時間型別，bigint型別轉ip函式
（3）使用合理的欄位屬性長度，固定長度的表會更快。使用enum、char而不是varchar
（4）儘可能使用not null定義欄位
（5）儘量少用text，非用不可最好分表

# 選擇合適的索引列
（1）查詢頻繁的列，在where，group by，order by，on從句中出現的列
（2）where條件中<，<=，=，>，>=，between，in，以及like 字串+萬用字元（%）出現的列
（3）長度小的列，索引欄位越小越好，因為資料庫的儲存單位是頁，一頁中能存下的資料越多越好
（4）離散度大（不同的值多）的列，放在聯合索引前面。檢視離散度，通過統計不同的列值來實現，count越大，離散程度越高：

原開發人員已經跑路，該表早已建立，我無法修改，故：該措辭無法執行，放棄！

2.sql的編寫需要注意優化

  • 使用limit對查詢結果的記錄進行限定

  • 避免select *，將需要查詢的欄位列出來

  • 使用連線（join）來代替子查詢

  • 拆分大的delete或insert語句

  • 可通過開啟慢查詢日誌來找出較慢的SQL

  • 不做列運算：SELECT id WHERE age + 1 = 10，任何對列的操作都將導致表掃描，它包括資料庫教程函式、計算表示式等等，查詢時要儘可能將操作移至等號右邊

  • sql語句儘可能簡單：一條sql只能在一個cpu運算；大語句拆小語句，減少鎖時間；一條大sql可以堵死整個庫

  • OR改寫成IN：OR的效率是n級別，IN的效率是log(n)級別，in的個數建議控制在200以內

  • 不用函式和觸發器，在應用程式實現

  • 避免%xxx式查詢

  • 少用JOIN

  • 使用同類型進行比較，比如用'123'和'123'比，123和123比

  • 儘量避免在WHERE子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描

  • 對於連續數值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5

  • 列表資料不要拿全表，要使用LIMIT來分頁，每頁數量也不要太大

原開發人員已經跑路，程式已經完成上線，我無法修改sql，故：該措辭無法執行，放棄！

引擎

引擎
目前廣泛使用的是MyISAM和InnoDB兩種引擎：

1.MyISAM
MyISAM引擎是MySQL 5.1及之前版本的預設引擎，它的特點是：

  • 不支援行鎖，讀取時對需要讀到的所有表加鎖，寫入時則對錶加排它鎖
  • 不支援事務
  • 不支援外來鍵
  • 不支援崩潰後的安全恢復
  • 在表有讀取查詢的同時，支援往表中插入新紀錄
  • 支援BLOB和TEXT的前500個字元索引，支援全文索引
  • 支援延遲更新索引，極大提升寫入效能
  • 對於不會進行修改的表，支援壓縮表，極大減少磁碟空間佔用

2.InnoDB
InnoDB在MySQL 5.5後成為預設索引，它的特點是：

  • 支援行鎖，採用MVCC來支援高併發
  • 支援事務
  • 支援外來鍵
  • 支援崩潰後的安全恢復
  • 不支援全文索引

總體來講，MyISAM適合SELECT密集型的表，而InnoDB適合INSERT和UPDATE密集型的表

MyISAM速度可能超快，佔用儲存空間也小，但是程式要求事務支援，故InnoDB是必須的，故該方案無法執行，放棄！

3.分割槽

MySQL在5.1版引入的分割槽是一種簡單的水平拆分，使用者需要在建表的時候加上分割槽引數，對應用是透明的無需修改程式碼
對使用者來說，分割槽表是一個獨立的邏輯表，但是底層由多個物理子表組成，實現分割槽的程式碼實際上是通過對一組底層表的物件封裝，但對SQL層來說是一個完全封裝底層的黑盒子。MySQL實現分割槽的方式也意味著索引也是按照分割槽的子表定義，沒有全域性索引
使用者的SQL語句是需要針對分割槽表做優化，SQL條件中要帶上分割槽條件的列，從而使查詢定位到少量的分割槽上，否則就會掃描全部分割槽，可以通過EXPLAIN PARTITIONS來檢視某條SQL語句會落在那些分割槽上，從而進行SQL優化，我測試，查詢時不帶分割槽條件的列，也會提高速度，故該措施值得一試。

分割槽的好處是：

  • 可以讓單表儲存更多的資料

  • 分割槽表的資料更容易維護，可以通過清楚整個分割槽批量刪除大量資料，也可以增加新的分割槽來支援新插入的資料。另外，還可以對一個獨立分割槽進行優化、檢查、修復等操作

  • 部分查詢能夠從查詢條件確定只落在少數分割槽上，速度會很快

  • 分割槽表的資料還可以分佈在不同的物理裝置上，從而搞笑利用多個硬體裝置

  • 可以使用分割槽表賴避免某些特殊瓶頸，例如InnoDB單個索引的互斥訪問、ext3檔案系統的inode鎖競爭

  • 可以備份和恢復單個分割槽

分割槽的限制和缺點：

  • 一個表最多隻能有1024個分割槽
  • 如果分割槽欄位中有主鍵或者唯一索引的列，那麼所有主鍵列和唯一索引列都必須包含進來
  • 分割槽表無法使用外來鍵約束
  • NULL值會使分割槽過濾無效
  • 所有分割槽必須使用相同的儲存引擎

分割槽的型別：

  • RANGE分割槽：基於屬於一個給定連續區間的列值，把多行分配給分割槽

  • LIST分割槽：類似於按RANGE分割槽，區別在於LIST分割槽是基於列值匹配一個離散值集合中的某個值來進行選擇

  • HASH分割槽：基於使用者定義的表示式的返回值來進行選擇的分割槽，該表示式使用將要插入到表中的這些行的列值進行計算。這個函式可以包含MySQL中有效的、產生非負整數值的任何表示式

  • KEY分割槽：類似於按HASH分割槽，區別在於KEY分割槽只支援計算一列或多列，且MySQL伺服器提供其自身的雜湊函式。必須有一列或多列包含整數值

  • 具體關於mysql分割槽的概念請自行google或查詢官方文件，我這裡只是拋磚引玉了。

我首先根據月份把上網記錄表RANGE分割槽了12份，查詢效率提高6倍左右，效果不明顯，故：換id為HASH分割槽，分了64個分割槽，查詢速度提升顯著。問題解決！

結果如下：

PARTITION BY HASH (id)PARTITIONS 64
select count(*) from readroom_website; --11901336行記錄 
/* 受影響行數: 0  已找到記錄: 1  警告: 0  持續時間 1 查詢: 5.734 sec. */ 
select * from readroom_website where month(accesstime) = 11 limit 10; 
/* 受影響行數: 0  已找到記錄: 10  警告: 0  持續時間 1 查詢: 0.719 sec. */

4.分表

分表就是把一張大表，按照如上過程都優化了，還是查詢卡死，那就把這個表分成多張表，把一次查詢分成多次查詢，然後把結果組合返回給使用者。
分表分為垂直拆分和水平拆分，通常以某個欄位做拆分項。比如以id欄位拆分為100張表： 表名為 tableName_id%100
但：分表需要修改源程式程式碼，會給開發帶來大量工作，極大的增加了開發成本，故：只適合在開發初期就考慮到了大量資料存在，做好了分表處理，不適合應用上線了再做修改，成本太高！！！而且選擇這個方案，都不如選擇我提供的第二第三個方案的成本低！故不建議採用。

5.分庫

把一個數據庫分成多個，建議做個讀寫分離就行了，真正的做分庫也會帶來大量的開發成本，得不償失！不推薦使用。

方案二詳細說明：升級資料庫，換一個100%相容mysql的資料庫

mysql效能不行，那就換個。為保證源程式程式碼不修改，保證現有業務平穩遷移，故需要換一個100%相容mysql的資料庫。

1.開源選擇

2.雲資料選擇

官方介紹語：POLARDB 是阿里雲自研的下一代關係型分散式雲原生資料庫，100%相容MySQL，儲存容量最高可達 100T，效能最高提升至 MySQL 的 6 倍。POLARDB 既融合了商業資料庫穩定、可靠、高效能的特徵，又具有開源資料庫簡單、可擴充套件、持續迭代的優勢，而成本只需商用資料庫的 1/10。

我開通測試了一下，支援免費mysql的資料遷移，無操作成本，效能提升在10倍左右，價格跟rds相差不多，是個很好的備選解決方案！

官方介紹：雲資料庫HybridDB for MySQL （原名PetaData）是同時支援海量資料線上事務（OLTP）和線上分析（OLAP）的HTAP（Hybrid Transaction/Analytical Processing）關係型資料庫。

我也測試了一下，是一個olap和oltp相容的解決方案，但是價格太高，每小時高達10塊錢，用來做儲存太浪費了，適合儲存和分析一起用的業務。

官方介紹：DCDB又名TDSQL，一種相容MySQL協議和語法，支援自動水平拆分的高效能分散式資料庫——即業務顯示為完整的邏輯表，資料卻均勻的拆分到多個分片中；每個分片預設採用主備架構，提供災備、恢復、監控、不停機擴容等全套解決方案，適用於TB或PB級的海量資料場景。

騰訊的我不喜歡用，不多說。原因是出了問題找不到人，線上問題無法解決頭疼！但是他價格便宜，適合超小公司，玩玩。

方案三詳細說明：去掉mysql，換大資料引擎處理資料

資料量過億了，沒得選了，只能上大資料了。

1.開源解決方案
hadoop家族。hbase/hive懟上就是了。但是有很高的運維成本，一般公司是玩不起的，沒十萬投入是不會有很好的產出的！
2.雲解決方案
這個就比較多了，也是一種未來趨勢，大資料由專業的公司提供專業的服務，小公司或個人購買服務，大資料就像水/電等公共設施一樣，存在於社會的方方面面。

國內做的最好的當屬阿里雲。

我選擇了阿里雲的MaxCompute配合DataWorks，使用超級舒服，按量付費，成本極低。
MaxCompute可以理解為開源的Hive，提供sql/mapreduce/ai演算法/python指令碼/shell指令碼等方式操作資料，資料以表格的形式展現，以分散式方式儲存，採用定時任務和批處理的方式處理資料。DataWorks提供了一種工作流的方式管理你的資料處理任務和排程監控。
當然你也可以選擇阿里雲hbase等其他產品，我這裡主要是離線處理，故選擇MaxCompute，基本都是圖形介面操作，大概寫了300行sql，費用不超過100塊錢就解決了資料處理問題。

相關推薦

MySQL千萬級大表優化解決方案

MySQL千萬級大表優化解決方案 非原創，純屬記錄一下。 背景 無意間看到了這篇文章，作者寫的很棒，於是乎，本人自私一把，把乾貨儲存下來。:-) 問題概述 使用阿里雲rds for MySQL資料庫（就是MySQL5.6版本），有個使用者上網記錄表6個月的資料量近2000萬，保留最近一年的資料量達到

Mysql千萬級大表優化

數據庫服務 時間段 系統 時也 導致 slave 如何 1.5 傳統 Mysql的單張表的最大數據存儲量尚沒有定論，一般情況下mysql單表記錄超過千萬以後性能會變得很差。因此，總結一些相關的Mysql千萬級大表的優化策略。 1.優化sql以及索引 1.1優化sql

Mysql千萬級大表優化策略

sid 屬於 基於 卡住 行數 arch 行數據 power 基本原理 1.優化sql以及索引 1.1優化sql 1、有索引但未被用到的情況（不建議） (1)避免like的參數以通配符開頭時 盡量避免Like的參數以通配符開頭，否則數據庫引擎會放棄使用索引而進

mysql千萬級大表線上加索引

 create table tmp like paper_author; ALTER TABLE tmp ADD INDEX ( `PaperID` ) insert into tmp(ooo，...)  select  ooo,... from paper_auth

記錄一次MySQL兩千萬資料的大表優化解決過程，提供三種解決方案

問題概述 使用阿里雲rds for MySQL資料庫（就是MySQL5.6版本

mysql千萬級大資料SQL查詢優化

1.對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應儘量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：select id from t where num

提高mysql千萬級大資料SQL查詢優化

1.對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應儘量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如： select id from t where num is

Mysql千萬級大資料量查詢優化

1.對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。2.應儘量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：select id from t where num i

提高mysql千萬級大資料SQL查詢優化30條經驗

轉自: http://www.jincon.com/archives/120/ 1.對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應儘量避免在 where 子句中對欄位進行 null 值判斷，否則將導致

mysql打不開表問題解決方案

for 阻塞 數據 data- 原因 client gin www fas 做開發時候某一表怎麽也打不開，數據也不多，網上查了按下面這篇文章完美解決，但是要記得用root登錄mysql： 記一次MySQL中Waiting for table metadata lock的解決

PHP千萬PHP千萬級秒殺項目實戰視頻教程 PHP千萬級秒殺技術解決方案教程

PHP課程簡介:隨著現在物聯網、互聯網+時代的到來，讓每天幾百個IP的時代成為歷史，隨著各種爆點的信息的快速擴展性，讓我們的應用隨時都有可能接收大量數據。這就給我們的應用提出了挑戰，如何建設一套高彈性的應用機制非常重要，接下來就讓我們一起來實現這樣的方案。適合人群;初中級PHP開發工程師企業在職PHP開發工程

mysql千萬級資料表結構修改

當需要對錶進行ddl操作如加索引、增刪列時，資料量小時直接線上修改表結構影響不大 當表達到百萬、千萬資料就不能直接線上修改表結構 下面是具體的過程： 1、備份資料 select * from ih_order into outfile '/bak/order.txt'; m

MySQL 上億大表優化實踐

原則 優化 順序 lock slave inno -c slow 其它 目錄 背景 分析 select xxx_record語句 delete xxx_record語句

乾貨｜一次MySQL兩千萬資料大表的優化過程，三種解決方案！

開發十年，就只剩下這套架構體系了！ >>>   

MySQL大表優化方案

基於用戶 保存 優先 完成 優化方案 想要 存儲 addition 精確 MySQL大表優化方案 mysql 168 當MySQL單表記錄數過大時，增刪改查性能都會急劇下降，可以參考以下步驟

乾貨！！！MySQL 大表優化方案（1）

當MySQL單表記錄數過大時，增刪改查效能都會急劇下降，可以參考以下步驟來優化： 單表優化 除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下是沒有太大問題

優秀後端架構師必會知識：史上最全MySQL大表優化方案總結

本文原作者“ manong”，原創發表於segmentfault，原文連結：segmentfault.com/a/1190000006158186 1、引言 MySQL作為開源技術的代表作之一，是網際網路得以廣泛流行的重要基礎技術之一。 國外 GitHub、Airbnb、Yelp、

mysql大資料分庫和分表 php解決方案

當Mysql資料量過大時，就會面臨壓力分解，這時分庫分表是一個不錯的解決方案，現在我們就來談談Mysql如何分庫分表比較理想，然後再用php如何呼叫。1，主從複製，讀寫分離對主庫修改資料，查詢使用從庫。一主多從，來降低資料庫讀取壓力。2，分庫分表根據實體業務來分

MySQL 大表優化方案（長文）

當MySQL單表記錄數過大時，增刪改查效能都會急劇下降，可以參考以下步驟來優化：單表優化除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下是沒有太大問題的。而事實上很多時候MySQL單表的效能依然有不少優

MySQL 大表優化方案

當MySQL單表記錄數過大時，增刪改查效能都會急劇下降，可以參考以下步驟來優化： 單表優化 除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下