1. 程式人生 > >MySQL準入規範及容量評估

MySQL準入規範及容量評估

多線程復制 incr 提示 訪問 索引 問題 臨時表 頻繁 基於


一、數據庫設計


1、表結構設計

 -表中的自增列(auto_increment屬性)推薦使用bigint類型
  -首選使用非空的唯一鍵, 其次選擇自增列或發號器
    不使用更新頻繁的列,盡量不選擇字符串列,不使用UUID MD5 HASH
  -業務中選擇性很少的狀態status、類型type等字段推薦使用tinytint或者smallint類型
  -業務中IP地址字段推薦使用int類型
  -業務活躍的大表中必須有行數據的創建時間字段create_time和最後更新時間字段update_time
  -表中所有字段必須都是NOT NULL屬性,業務可以根據需要定義DEFAULT值
  -用decimal存儲精確浮點數(不要用浮點類型)
  -不推薦使用enum,set,blob,text等類型,對於大表必須將text、blob等類型字段拆分或者獨立建表 

2、索引設計

 -避免冗余索引 :避免將同一個字段都建立索引,索引的建立需要根據訪問的SQL語句來評估
  -一次查詢,一個表只能用到一個索引,不要對每個查詢條件的字段都單獨建立索引
  -單張表索引數量不超過7,單個索引字段數不超過5  
  -不在null列上加索引
  -不在低基數列上建立索引,例如“性別” 
  -復合索引字段排序,區分度最大的字段放在前面
  -核心SQL優先考慮覆蓋索引
  -對字符串使用前綴索引
  -前綴長度不超過8個字符 ,必須是最左前綴 

3、字符集及校驗集

 -數據庫和表的字符集必須一致,且所有表的字符集必須一致,只能是utf8;數據庫中所有表采用統一的校驗集
  -主、從數據庫的字符集必須一致
  -前端程序字符集或者環境變量中的字符集,與數據庫、表的字符集必須一致 

4、其他要求

 -不推薦使用外鍵,臨時表,視圖,自定義函數,存儲過程以及觸發器
  -SSD硬盤上,單表數據行數不能超過5000萬或者存儲空間不得大於30GB
  -SAS硬盤上,單表數據行數不能超過2000萬或者存儲空間不得大於15GB
  -上線前DBA必須根據1年內的業務訪問量和數據增長量,給出庫、表的擴展方案 


二、SQL編寫

1、select

 -SELECT語句必須指定具體字段名稱,禁止寫成“select *”
  -SELECT語句禁止使用UNION,推薦使用UNION ALL,並且UNION子句個數限制在5個以內 

2、DML

 -INSERT語句必須指定具體的字段名稱,不要寫成INSERT VALUES(……)形式 
  -SQL語句在程序中傳入的參數值類型必須與字段在數據庫中的類型相同 

3、多表聯合查詢

 -多表連接查詢推薦使用別名,且SELECT列表中要用別名引用字段,數據庫.表格式,如“select a.cid  from iknow_qb. tblreply a where …”
  -生產系統中,單個查詢中不推薦將3張表以上(包括3張表)做連接
  -生產系統中,強烈不推薦使用外關聯,包括左外關聯,右外關聯和全外關聯
  -在多表連接的查詢中,驅動表須要選擇結果集較小的表
  -禁止寫成多層子查詢嵌套的SQL語句,推薦改寫成表順序連接的格式
  -盡量不要在INSERT|UPDATE|DELETE|REPLACE語句中進行多表連接操作 

4、事務

 -事務中INSERT|UPDATE|DELETE|REPLACE語句操作的行數控制在2000,以及WHERE子句中IN列表的傳參個數控制在2000
  -批量操作數據時,需要控制事務處理間隔時間,進行必要的sleep,具體值由DBA給出,並且程序必須有中斷處理能力
  -對於有auto_increment屬性字段的表的插入操作,並發需要控制在200/s以內
  -SQL級別/事務級別/主從數據庫中的表存儲引擎類型要一致,存儲引擎混合使用會導致主從數據不一致或主從同步中斷
  -對於同步延遲不敏感的只讀查詢,必須放到從庫上執行;對於同步延遲敏感的只讀查詢,可以放到主庫上執行
  -前端程序中盡量不要使用set語句,包括set names、set sql_mode和set isolation_level等 

5、表掃描方式:

 -SELECT|UPDATE|DELETE|REPLACE要有WHERE子句,且WHERE子句的條件必需使用索引查找
  -生產數據庫中強烈不推薦大表上發生全表掃描,但對於5000行以下的靜態表可以全表掃描
  -業務中大表全表掃描和全表導出(dump)推薦放在備份庫或者線下讀庫中進行
  -WHERE 子句中禁止只使用全模糊的LIKE條件進行查找(如like ‘%aj%‘),必須有其他查詢條件
  -WHERE子句中的索引列或組合索引前導列上不能使用函數 

6、排序和分組

 -有distinct、order by和group by子句的查詢,中間結果集限制10000行以內
  -對於大結果集(中間結果集超過10000行)的排序、分組放到程序端實現 

7、其他要求

 -單個SQL語句的大小限制在5MB以內
  -生產數據庫中SQL語句的中間結果集和最終結果集必須限制在5MB以內
  -生產數據庫中SQL語句禁止使用提示,如force index,ignore index,straight_join,sql_no_cache等
  -禁止使用全文檢索功能
  -禁止使用事件(EVENT)功能
  -程序中不要使用或操作mysql庫和test庫,禁止創建test或以test開頭的庫
  -禁止在mysql中使用用戶自定義變量
  -線上數據庫中不要進行業務的實時統計或者匯總等計算操作,可導出後利用其它工具或者在線下備份庫中完成
  -減少與數據庫的交互次數 
        INSERT ... ON DUPLICATE KEY UPDATE 
        REPLACE  INTO、INSERT IGNORE 、INSERT INTO VALUES(),(),()
        UPDATE … WHERE ID IN(A,B,C,…)
  -不使用負向查詢,例如 not in,!= ,not like
  -不在索引列進行數學運算和函數運算 
  -不使用%前導的查詢,例如like “%abc”
  -避免大表數據類型間的隱式轉換(這個經常出性能問題)會導致索引失效,例如數字轉字符串 


三、MySQL相關特點介紹

1、MySQL對SQL的處理特點

 -SQL請求處理只能使用一個核
  -沒有SQL編譯緩存,SQL存儲過程都是硬解析
  -索引上不支持運算對比
  -大多情況下一個Query只能使用一個索引
  -不支持Hash jion(MariaDB目前支持)
  -基於線程的對外服務模型(連接數太高,性能下降嚴重)
  -子查詢支持較差,外層查詢一般走不了索引 

2、MySQL支持的存儲大小

 -單個表空間64T, 每個表只有一個表空間,也就是每個單表最大64T
  -Innodb Logfile 加起來不能超過512G
  -每行大小限制65535 byte 
  -每個表最多1027個字段
  -每個表最多64個普通索引 

3、MySQL生產參考指標

 -單實例最好不要超過1T, 周邊LOG除外,最大不建議超過5T
  -一般的OLTP單表建議最大不要超過10G 
  -通常在有buffer命中的情況下:
        Select 可以達到3-6W/S
        Insert 在聚集索引連續的情況可以到2w-3W/S
        在聚集索引不連續的情況下有可能也就是200-300/S
        UPDATE數據在內存的情況下可以達到3K/S
        DELETE數據在內存的情況下可以達到1k/s,有可能更少
  -數據庫的瓶頸: IO能力 ,想辦法用順序IO,減少隨機IO 


四、建表審核


五、容量評估

1、容量評估概述
所有的數據庫上線:新建集群、新建數據庫、新建表,都需要提前進行容量評估,防止後續因容量問題而又對已上線的業務進行調整、擴容、遷移等操作,從而對線上業務造成影響。容量包括:訪問量(讀寫)、數據及增長量、磁盤空間容量.

2、表容量
表容量主要從表的 記錄數、平均長度、增長量、讀寫量、總大小量進行評估。一般對於OLTP的表,建議單表不要超過2000W行數據量,總大小15G以內。訪問量:單表讀寫量在1600/s以內。
對於單表數據量上百萬的表,每行記錄長度不要過長,不要和text、blob等字段類型放在同一個表中。(MySQL數據頁大小為16K,每行記錄越長,每個數據頁存儲的記錄數就越少,因此在對數據進行檢索時,會產生更多的IO)

3、實例容量
MySQL是基於線程的服務模型,因此在一些並發較高的場景下,單實例並不能充分利用服務器的CPU資源,吞吐量反而會卡在mysql層,特別是對於mysql5.5版本。在mysql 5.6版本中 做了很大優化,而且percona 版本有thread pool ,可以充分應對高並發場景下CPU上下文切換消耗過高的問題。
單實例QPS吞吐量一般控制在20000/s以內,寫入量還需考慮從庫延遲問題,對於mysql5.6版本可以考慮進行分庫後再分表,充分利用5.6版本基於庫級別的多線程復制,從而提高寫入的吞吐量。

4、磁盤空間
服務器一般會承載多個數據庫實例,因此在各個實例上線前,需要對各個實例進行 數據量的評估,以及1-2年內 主要的幾個大表的增長量情況,對數據量的評估,盡量精確到每個字段。對於增長量不是特別快的業務(半年就翻倍的情況),建議1-2年的數據量,最終占磁盤使用率的70%以內。同時,對於一些數據增長較快,可以考慮使用大的慢盤進行數據歸檔。

MySQL準入規範及容量評估