Mysql配置優化,庫表設計
Mysql 服務器參數類型:
基於參數的作用域:
全局參數:set global autocommit = ON/OFF;
會話參數(會話參數不單獨設置則會采用全局參數):set session autocommit = ON/OFF;
註意:全局參數的設定對於已經存在的會話無法生效,會話參數的設定隨著會話的銷毀而失效全局類的統一配置建議配置在默認配置文件中,否則重啟服務會導致配置失效。
尋找配置文件不迷路:
mysql --help 尋找配置文件的位置和加載順序
Default options are read from the following files in the given order: /etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf
mysql --help | grep -A 1 ‘Default options are read from the following files in the given order‘
全局配置文件配置:
最大連接數配置:max_connections,默認值151,可以再配置文件中修改該默認值。
當我們把這個連接數設置的盡量的大的時候,比如設置6000,會發現最後顯示的結果只有4190,這是為什麽呢?這是隱喻系統句柄數與mysql的句柄數的配置。
系統句柄數配置:可以在 /etc/security/limits.conf 文件中配置,通過 ulimit -a 命令可以查看 open files 的值。
mysql句柄數配置:可以通過文件 mysqld.service 設置參數 LimitNOFILE 的值來修改mysql的句柄數。
常見全局配置:
port = 3306
socket = /tmp/mysql.sock
basedir = /usr/local/mysql
datadir = /data/mysql
pid-file = /data/mysql/mysql.pid
user = mysql
bind-address = 0.0.0.0
max_connections=2000 #最大連接數
lower_case_table_names = 0 #表名區分大小寫等於一不區分
server-id = 1 #服務編號
tmp_table_size=16M #在緩存存儲引擎的時候的臨時表的內存大小。
transaction_isolation = REPEATABLE-READ # 事務隔離級別
ready_only=1 # 對於數據表只有super用戶的權限才能進行修改操作,從庫的配置項
Mysql內存重要參數配置:
每一個connection內存參數配置:
sort_buffer_size connection排序緩沖區大小,建議256K(默認值)-> 2M之內,當查詢語句中有需要文件排序功能時,馬上為connection分配配置的內存大小
join_buffer_size connection關聯查詢緩沖區大小建議256K(默認值)-> 1M之內當查詢語句中有關聯查詢時,馬上分配配置大小的內存用這個關聯查詢,所以有可能在一個查詢語句中會分配很多個關聯查詢緩沖區
上述配置4000連接占用內存:4000*(0.256M+0.256M) = 2G
Innodb_buffer_pool_size:innodb buffer/cache的大小(默認128M)這個參數是非常重要的,在 Innodb_buffer_pool(innoDB緩沖區)中包含了數據緩存,索引緩存,緩沖數據,內部結構等信息。
大的緩沖池可以減小多次磁盤I/O訪問相同的表數據以提高性能。參考計算公式:Innodb_buffer_pool_size = (總物理內存 - 系統運行所用 - connection 所用)* 90%
Mysql 其他參數配置:
wait_timeout:服務器關閉非交互連接之前等待活動的秒數,默認值 8個小時。
innodb_open_files:限制Innodb能打開的表的個數
innodb_write_io_threads,innodb_read_io_threads:innodb使用後臺線程處理innodb緩沖區數據頁上的讀寫 I/O(輸入輸出)請求
innodb_lock_wait_timeout:InnoDB事務在被回滾之前可以等待一個鎖定的超時秒數
常見配置的帖子:https://www.cnblogs.com/wyy123/p/6092976.html。
數據庫設計:
第一範式( 1NF):
字段具有原子性,不可再分。 所有關系型數據庫系統都滿足第一範式)數據庫表中的字段都是單一屬性的, 不可再分;
第二範式( 2NF):
要求實體的屬性完全依賴於主鍵。 所謂完全依賴是指不能存在僅依賴主鍵一部分的屬性,如果存在, 那麽這個屬性和主關鍵字的這一部分應該分離出來形成一個新的實體, 新實體與原實體之間是一對多的關系。為實現區分通常需要為表加上一個列,以存儲各個實例的惟一標識。簡而言之, 第二範式就是屬性完全依賴主鍵。
第三範式( 3NF):
滿足第三範式( 3NF) 必須先滿足第二範式( 2NF)。 簡而言之, 第三範式( 3NF)要求一個數據庫表中不包含已在其它表中已包含的非主鍵信息。
簡單一點:
1, 每一列只有一個單一的值,不可再拆分
2, 每一行都有主鍵能進行區分
3, 每一個表都不包含其他表已經包含的非主鍵信息。
潛藏的一些問題:
充分的滿足第一範式設計將為表建立太量的列?
數據從磁盤到緩沖區,緩沖區臟頁到磁盤進行持久的過程中,列的數量過多會導致性能下降。過多的列影響轉換和持久的性能。
過分的滿足第三範式化造成了太多的表關聯?
表的關聯操作將帶來額外的內存和性能開銷。
使用innodb引擎的外鍵關系進行數據的完整性保證?
外鍵表中數據的修改會導致Innodb引擎對外鍵約束進行檢查,就帶來了額外的開銷。
常見的SQL軍規:
軍規適用場景:並發量大、數據量大的互聯網業務
一、基礎規範:
(1)必須使用InnoDB存儲引擎
解讀:支持事務、行級鎖、並發性能更好、CPU及內存緩存頁優化使得資源利用率更高
(2)必須使用UTF8字符集 UTF-8MB4
解讀:萬國碼,無需轉碼,無亂碼風險,節省空間
(3)數據表、數據字段必須加入中文註釋
解讀:N年後誰tm知道這個r1,r2,r3字段是幹嘛的
(4)禁止使用存儲過程、視圖、觸發器、Event
解讀:高並發大數據的互聯網業務,架構設計思路是“解放數據庫CPU,將計算轉移到服務層”,並發量大的情況下,這些功能很可能將數據庫拖死,業務邏輯放到服務層具備更好的擴展性,能夠輕易實現“增機器就加性能”。數據庫擅長存儲與索引,CPU計算還是上移吧
(5)禁止存儲大文件或者大照片
解讀:為何要讓數據庫做它不擅長的事情?大文件和照片存儲在文件系統,數據庫裏存URI多好
二、命名規範
(6)只允許使用內網域名,而不是ip連接數據庫
(7)線上環境、開發環境、測試環境數據庫內網域名遵循命名規範
(8)庫名、表名、字段名:小寫,下劃線風格,不超過32個字符,必須見名知意,禁止拼音英文混用
(9)表名t_xxx,非唯一索引名idx_xxx,唯一索引名uniq_xxx
三、表設計規範
(10)單實例表數目必須小於500
(11)單表列數目必須小於30
(12)表必須有主鍵,例如自增主鍵
解讀:a)主鍵遞增,數據行寫入可以提高插入性能,可以避免page分裂,減少表碎片提升空間和內存的使用
b)主鍵要選擇較短的數據類型, Innodb引擎普通索引都會保存主鍵的值,較短的數據類型可以有效的減少索引的磁盤空間,提高索引的緩存效率
c) 無主鍵的表刪除,在row模式的主從架構,會導致備庫夯住
(13)禁止使用外鍵,如果有外鍵完整性約束,需要應用程序控制
解讀:外鍵會導致表與表之間耦合,update與delete操作都會涉及相關聯的表,十分影響sql 的性能,甚至會造成死鎖。高並發情況下容易造成數據庫性能,大數據高並發業務場景數據庫使用以性能優先
四、字段設計規範
(14)必須把字段定義為NOT NULL並且提供默認值
解讀:a)null的列使索引/索引統計/值比較都更加復雜,對MySQL來說更難優化
b)null 這種類型MySQL內部需要進行特殊處理,增加數據庫處理記錄的復雜性;同等條件下,表中有較多空字段的時候,數據庫的處理性能會降低很多
c)null值需要更多的存儲空,無論是表還是索引中每行中的null的列都需要額外的空間來標識
d)對null 的處理時候,只能采用is null或is not null,而不能采用=、in、<、<>、!=、not in這些操作符號。如:where name!=’shenjian’,如果存在name為null值的記錄,查詢結果就不會包含name為null值的記錄
(15)禁止使用TEXT、BLOB類型
解讀:會浪費更多的磁盤和內存空間,非必要的大量的大字段查詢會淘汰掉熱數據,導致內存命中率急劇降低,影響數據庫性能
(16)禁止使用小數存儲貨幣
解讀:使用整數吧,小數容易導致錢對不上
(17)必須使用varchar(20)存儲手機號
解讀:a)涉及到區號或者國家代號,可能出現+-()
b)手機號會去做數學運算麽?
c)varchar可以支持模糊查詢,例如:like“138%”
(18)禁止使用ENUM,可使用TINYINT代替
解讀:a)增加新的ENUM值要做DDL操作
b)ENUM的內部實際存儲就是整數,你以為自己定義的是字符串?
五、索引設計規範:
(19)單表索引建議控制在5個以內
(20)單索引字段數不允許超過5個
解讀:字段超過5個時,實際已經起不到有效過濾數據的作用了
(21)禁止在更新十分頻繁、區分度不高的屬性上建立索引
解讀:a)更新會變更B+樹,更新頻繁的字段建立索引會大大降低數據庫性能
b)“性別”這種區分度不大的屬性,建立索引是沒有什麽意義的,不能有效過濾數據,性能與全表掃描類似
(22)建立組合索引,必須把區分度高的字段放在前面
解讀:能夠更加有效的過濾數據
六、SQL使用規範:
(23)禁止使用SELECT *,只獲取必要的字段,需要顯示說明列屬性
解讀:a)讀取不需要的列會增加CPU、IO、NET消耗
b)不能有效的利用覆蓋索引
(24)禁止使用INSERT INTO t_xxx VALUES(xxx),必須顯示指定插入的列屬性
解讀:容易在增加或者刪除字段後出現程序BUG
(25)禁止使用屬性隱式轉換
解讀:SELECT uid FROM t_user WHERE phone=13812345678 會導致全表掃描,而不能命中phone索引
(26)禁止在WHERE條件的屬性上使用函數或者表達式
解讀:SELECT uid FROM t_user WHERE from_unixtime(day)>=‘2017-02-15‘ 會導致全表掃描,正確的寫法是:SELECT uid FROM t_user WHERE day>= unix_timestamp(‘2017-02-1500:00:00‘)
(27)禁止負向查詢,以及%開頭的模糊查詢
解讀:a)負向查詢條件:NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等,會導致全表掃描
b)%開頭的模糊查詢,會導致全表掃描
(28)禁止大表使用JOIN查詢,禁止大表使用子查詢
解讀:會產生臨時表,消耗較多內存與CPU,極大影響數據庫性能
(29)禁止使用OR條件,必須改為IN查詢
解讀:舊版本Mysql的OR查詢是不能命中索引的,即使能命中索引,為何要讓數據庫耗費更多的CPU幫助實施查詢優化呢?
(30)應用程序必須捕獲SQL異常,並有相應處理
總結:大數據量高並發的互聯網業務,極大影響數據庫性能的都不讓用,不讓用喲。
Mysql配置優化,庫表設計