2. 程式人生 > >MySQL優化（二）——什麼影響了MySQL效能

MySQL優化（二）——什麼影響了MySQL效能

阿新 • • 發佈：2019-01-25

影響效能的幾個方面：

  1. 伺服器硬體
  2. 伺服器系統
  3. 資料庫儲存引擎的選擇
  4. 資料庫引數配置
  5. 資料庫結構設計和SQL語句

一、伺服器硬體

1、CPU的選擇

我們的應用是否是CPU密集型的

對於cpu密集型的應用，我們需要加快sql語句的處理速度。由於mysql的sql語句處理是單執行緒的，因此我們需要更好的cpu，而不是更多的cpu。

我們系統的併發量如何

一個cpu同時只能處理一條sql語句。所以，高併發量的情況下，就需要更多的cpu而不是更快的cpu。

選擇32位還是64位的cpu

64位已經是預設配置了。

2、記憶體的選擇

記憶體的io要遠高於磁碟，即便是SSD或者Fusion_IO。所以把資料快取到記憶體中讀取，可以大大提高效能。
常用的mysql引擎中，MyISAM把索引快取到記憶體，資料不快取。而InnoDB同時快取資料和索引。

快取不僅對讀取有益，對寫入也是可以優化的，我們可以通過快取，將多次寫入合併成一次寫入操作。

怎麼選擇記憶體：主頻儘量大，型號儘量相同，單條記憶體容量儘量打。

3、磁碟的選擇

  • 傳統機械磁碟
  • RAID增強傳統機械磁碟
  • 固態儲存SSD和PCIe卡
  • 網路儲存NAS和SAN

如何選擇傳統機械硬碟

  • 儲存容量
  • 傳輸速度
  • 訪問時間
  • 主軸轉速
  • 物理尺寸：越小效能越高，儲存空間越小

RAID增強

什麼是RAID：把多個容量小的磁碟組成一組容量更大的磁碟，並提供資料冗餘來保證資料完整性的技術。

RAID 0，多磁碟串聯。成本最低，資料容易丟失
RAID 1，映象。磁碟利用率降低一半。
RAID5，分散式奇偶校驗磁碟陣列
RAID10，分片映象

等級 特點 是否冗餘 盤數 讀 寫
RAID0 便宜，快速，危險 否 N 快 快
RAID1 高速讀，簡單，安全 有 2 快 慢
RAID5 安全，成本這種 有 N+1 快 取決於最慢的盤
RAID10 貴，高速，安全 有 2N 快 快

推薦RAID10

固態儲存

相比機械磁碟，固態磁碟有更好的隨機讀寫效能。
相比機械磁碟，固態磁碟能更好的支援併發。
相比機械磁碟，固態磁碟 更容易損壞

  • SSD：
    1.使用SATA介面。可以替換傳統磁碟而不需任何改變
    2.SATA介面的SSD同樣支援RAID技術。注意SSD的RAID控制器與傳統不同。
  • PCI-E
    1.無法使用SATA介面，需要獨特的驅動和配置
    2.價格相對於SSD要貴，但是效能比SSD更好

固態儲存的使用場景：
1.適用於存在大量的隨機I/O的場景。
2.適用於解決單執行緒負載的I/O瓶頸。

網路儲存

SAN：通過光釺連結伺服器，伺服器可以將其當做硬碟使用。適合大量順序讀寫
NAS：使用網路連線，通過基於檔案的協議如NFS或SMB來訪問。

網路儲存適合的場景：

  • 資料庫備份

4、網路效能的影響

延遲、頻寬（吞吐）

網路頻寬的影響，不必多說。可能很多人認為資料庫伺服器與Web伺服器的通訊是在內網下的，頻寬影響不大。其實在大促的情況下，我們有50臺伺服器，同時向資料庫請求2M的資料，那麼就需要100M的帶寬了。
建議：

  • 採用高效能和高頻寬的網路介面裝置和交換機。
  • 對多個網絡卡進行繫結，增強可用性和頻寬。
  • 儘可能的進行網路隔離。

5、伺服器硬體對效能的影響，總結

  • cpu
    1、64位的cpu一定要工作在64位的系統下。
    2、對於併發比較高的場景，cpu的數量比頻率重要
    3、對於cpu密集型場景和複雜SQL則頻率越高越好。

  • 記憶體
    1、選擇主機板所能使用的最高頻率的記憶體
    2、記憶體的大小對效能很重要，所以儘可能的大

  • I/O子系統
    PCIe–>SSD–>Raid10–>磁碟–>SAN

二、伺服器系統

MySql適合的作業系統

  • Windows
  • FreeBSD
  • Solaris
  • Linux

下面的內容以CentOs系統為例

系統引數優化

核心相關引數（/etc/sysctl.conf）

網路相關
- net.core.somaxconn=65535

    對於一個TCP連線來說，伺服器端和客戶端需要進行三次握手來建立網路的連線。當三次握手成功之後，我們可以用netstat命令檢視埠的狀態由監聽轉變成了連線，接著該連線就可以傳輸資料了。對於一個監聽狀態的埠，都會有自己的監聽佇列，而該引數就決定了監聽佇列的最大長度。

- net.core.netdev_max_backlog=65535
- net.ipv4.tcp_max_syn_backlog=65535

加快tcp連線的回收

  • net.ipv4.tcp_fin_timeout=10
  • net.ipv4.tcp_tw_reuse=1
  • net.ipv4.tcp_tw_recycle=1

tcp連線接收和傳送緩衝區大小的預設值和最大值

  • net.core.wmem_default = 87380
  • net.core.wmem_=16777216
  • net.core.rmem_default=87380
  • net.core.rmem_max=16777216

檢測佔用的tcp連線是否已經失效

  • net.ipv4.tcp_keepalive_time=120 傳送時間
  • net.ipv4.tcp_keepalive_intvl=30 沒有返回再次傳送的間隔
  • net.ipv4.tcp_keepalive_probes=3 傳送幾次

記憶體相關引數

  • kernel.shmmax = 4294967295

注意：
1、這個引數應該設定的足夠大，以便能在一個共享記憶體段下容納下整個的Innodb緩衝池大小
2、這個值的大小對於64位linux系統，可取的最大值為實體記憶體值-1byte，建議值為大於實體記憶體的一半，一般取值大於Innodb緩衝池大小即可。

  • vm.swappiness=0
    這個引數當記憶體不足時會對效能產生比較明顯的影響。

    拓展：
Linux系統記憶體交換區：在linux系統安裝時都會有一個特殊的磁碟分割槽，稱之為系統交換分割槽。如果我們使用free-m在系統中檢視可以看到類似下面內容，其中swap就是交換分割槽。

    這裡寫圖片描述

    當作業系統因為沒有足夠的記憶體時就會將一些虛擬記憶體寫到磁碟的交換區中，這樣就會發生記憶體交換

在MySQL伺服器上是否要使用交換分割槽有一些爭議：

-主張 完全禁用 的風險：
1、降低作業系統的效能
2、容易造成記憶體溢位，崩潰，或都被作業系統kill掉

結論：在MySQL伺服器上保留交換分割槽，但是要控制何時使用。vm.swappiness=0就是告訴Linux核心除非虛擬記憶體完全滿了，否則不要使用交換區。

增加資源限制（/etc/security/limit.conf）
這個檔案實際上是linux PAM也就是插入式認證模組的配置檔案。
其中重要的配置是：開啟檔案數的限制。

  • * soft nofile 65535
  • * hard nofile 65535

其中：*表示對所有使用者有效，soft指當前系統生效的設定，hard表明系統中所能設定的最大值，nofile表示所限制的資源是開啟檔案的最大數目，65535就是限制的數量。

結論：把可開啟的檔案數量增加到65535，以保證可以開啟足夠多的檔案控制代碼。
注意：這個檔案的修改需要重啟系統才可以生效。

磁碟排程策略（/sys/block/devname/queue/scheduler）

  • noop anticipatory deadline [cfq]
    檢視：cat /sys/block/sda/queue/scheduler

noop（電梯式排程策略）

    noop實現了一個FIFO佇列，它像電梯的工作方法一樣對I/O請求進行組織，當有一個新的請求到來時，它將請求合併到最近的請求之後，以此來保證請求同一介質。

deadline（截止時間排程策略）
對資料庫最好。

修改磁碟排程策略

echo deadline > /sys/block/sda/queue/scheduler

檔案系統的選擇

windows：
- FAT
- NTFS

linux：

  • EXT3
  • EXT4
  • XFS（效能更高）

三、儲存引擎

MySQL體系結構

這裡寫圖片描述

注意：儲存引擎是針對於表的而不是針對於庫的（一個庫中的不同表可以使用不同的儲存引擎）

MyISAM

MySql5.5之前版本預設儲存引擎。
MyISAM儲存引擎表有MYD和MYI組成。

特性：

  • 併發性與鎖級別：對讀寫混合的併發性並不會太好
  • 表損壞修復
  • 支援的索引型別：全文索引
  • 支援壓縮：壓縮表只支援讀操作，不支援寫操作

適用場景：

  • 非事務型應用
  • 只讀類應用
  • 空間類應用

★Innodb

系統表空間 和 獨立表空間的選擇

比較：

  • 系統表空間無法簡單的收縮檔案大小
  • 獨立表空間可以通過optimize table命令收縮系統檔案
  • 系統表空間會產生IO瓶頸
  • 獨立表空間可以同時向多個檔案重新整理資料

建議：對Innodb使用獨立表空間

如何把原來存在於系統表空間中的錶轉移到獨立表空間中？

  • 1、使用mysqldump匯出所有資料庫表資料
  • 2、停止MySql服務，修改引數，並刪除Innodb相關檔案
  • 3、重啟MySql服務，重建Innodb系統表空間
  • 4、重新匯入資料

Innodb儲存引擎的特性

  • 事務性儲存引擎
  • 完全支援事務的ACID特性
  • Redo Log 和 Undo Log
  • Innodb支援行級鎖（MyISAM支援表級鎖），行級鎖可以最大程度的支援併發，行級鎖是由儲存引擎層實現的

Innodb適用場景
基本上只要不使用到Innodb不包含的功能，基本上都使用Innodb作為預設儲存引擎（例如MyISAM的空間應用，全文索引。但實際上MySql5.7之後Innodb已經支援了前面兩點）。

相關推薦

MySQL優化（二）——什麼影響了MySQL效能

影響效能的幾個方面： 伺服器硬體 伺服器系統 資料庫儲存引擎的選擇 資料庫引數配置 資料庫結構設計和SQL語句 一、伺服器硬體 1、CPU的選擇 我們的應用是否是CPU密集型的 對於cpu密集型的應用，我們需要加快sql語句的處理速度。

【MySql】Sql優化（二）——影響效能的因素

一、前言 在上一篇部落格中，小編向大家簡單介紹了一下Mysql執行的流程：客戶端傳送一條查詢給資料庫伺服器，伺服器先進行許可權檢測，然後在快取中查詢，如果命中了快取，就立即返回儲存在快取中的結果，如果沒有，就再經過解析器解析，前處理器進行預處理，優化器優化，得到

MySQL優化（二） 優化訣竅

效率比較 join nbsp 開頭 ble 使用 show tro 多列 索引的使用 （1）查詢要使用索引最重要的條件是查詢條件中的字段建立了索引； （2）下列幾種情況可能使用到索引： 　　<1> 對於創建的多列索引，只要查詢條件使用了最坐邊的列，索引一般就會被

mysql優化（二）

SQL語句及索引的優化 explain分析sql語句 |  ALL              |  全表掃描 |  index            |  索引全掃描 |  range            |  索引範圍掃描，常用語<,<

MYSQL優化（二）：查詢優化

關於mysql查詢過程可參考上篇文章語法解析和預處理MySQL通過關鍵字將SQL語句進行解析，並生成一顆對應的解析樹。這個過程解析器主要通過語法規則來驗證和解析。比如SQL中是否使用了錯誤的關鍵字或者關鍵字的順序是否正確等等。預處理則會根據MySQL規則進一步檢查解析樹是否合

mysql監控優化（二）主從復制

如何 程序 延遲 負載均衡 state 帶來 客戶 備份 技術 復制解決的基本問題是讓一臺服務器的數據和其他服務器保持同步。一臺主服務器的數據可以同步到多臺從服務器上。並且從服務器也可以被配置為另外一臺服務器的主庫。主庫和從庫之間可以有多種不同的組合方式。

數據庫優化（二）—— MySQL索引優化

大表加索引 運算 維護 重構 unit num .sh 規範 -s 目錄 MySQL的索引優化 一、MySQL 5.7的初始化配置 二、MySQL配置文件 1、配置 2、配置文件作用 三、多實例 1、創建相關的目錄 2、創建實例的配置文件 3、初始化 4、授權 5、啟動

MySQL批量插入效能優化（二）

"jdbc:mysql://192.168.104.163:3306/testdb",                                          "vcom", "vcom", 2, 4,                                          "c:\\te

【MySQL】基於MySQL的SQL優化（二）——對count（）、max（）的優化

max（）： 通過一條含有max（）的語句來了解一下通過索引來優化帶有max（）方法的SQL語句。 SELECT MAX(payment_date) FROM payment;

MySQL系列（二）

sql read 註意 出現 back 總結 lba 區別 不同 MySql 事務 目錄 MySQL系列（一）：基礎知識大總結 MySQL系列（二）：MySQL事務 MySQL系列（三）：索引 什麽是事務(transaction) 保證成批操作要麽完全執行，要麽完全不

Mysql優化（轉）

進行 模式 系統 b樹 stat 內存 很多 提高 優化mysql Mysql優化主要通過執行計劃，索引，sql語句，調整mysql內部配置 （http://blog.chinaunix.net/uid-11640640-id-3426908.html） 一、優化概述

mysql事務（二）——控制語句使用

spa alt ted clas 數據行 ble 事務提交 一般來說 tran 事務控制 一般來說，mysql默認開啟了事務自動提交功能，每條sql執行都會提交事務。可以使用如下語句關閉事務自動提交功能。 show session variables like ‘auto

MySQL整理（二）

攔截器 delete blog 介紹 我們 mysq 直接 rem dep 　　一、MySQL操作表的約束 　　　　MySQL提供了一系列機制來檢查數據庫表中的數據是否滿足規定條件，以此來保證數據庫表中數據的準確性和一致性，這種機制就是約束。 　　　　（1）設置非空約束（N

Python中操作mysql知識（二）

python mysql 1.創建表Teacher：create table Teacher( teaId int not null, teaname varchar(100), age int, sex enum('M', 'F'), phone int);

ctrl_c + ctrl_v 出來的四不像 （二） -- 連接Mysql

字符 except 類型 ann play time 切換數據庫 framework 8.0 一、引用 　　MySql.Data.EntityFrameworkCore:8.0.12 二、連接字符串 　　將所有系統連接字符串統一放在數據庫中，應用中僅保留一個連接

python學習筆記 day44 mysql 練習題（二）

1. 練習題二題目來自於：http://www.cnblogs.com/wangfengming/articles/7889786.html   這部分的習題 大致看了一下，沒有實際建立表來做，這裡選幾個比較有代表性的題大致說一下思路： 表的資訊如下： 24. 刪除工資重複的人員，保留年

MySQL學習（二）資料型別

擷取書中內容留作學習。。。。 1、整數型別 2、浮點數與定點數型別 3、日期時間型別 　　向資料庫中插入當前系統時間：CURRENT_TIME或者NOW() 4、文字字串型別 　　MySQL列舉型別：create table test(enm E

MySQL學習（二）數據類型

info 時間類 cond 圖片 nbsp 數據 enum con ble 截取書中內容留作學習。。。。 1、整數類型 2、浮點數與定點數類型 3、日期時間類型 　　向數據庫中插入當前系統時間：CURRENT_TIME或者NOW() 4、文本字符串

MySQL基礎（二）圖形視窗操作、命令指令碼操作

使用圖形視窗連線 下發windows的navicat 點選“連線”彈出視窗，按照提示填寫連線資訊，如下圖   連線成功後，會在連線名稱下面顯示出當前的資料庫 雙擊選中資料庫，就可以編輯此資料庫 下次再進入此軟體時，通過雙擊完成連線、編輯操作 資料庫操作

MySQL技巧（二）——無限級分類表設計

無限級分類表的設計(掌握'自身連線') 類似圖書這種，會有很多種分類，而且在現實生活中這種分類會無限的往下分，所以不可能每有一個分類就建立一個分類表。應該使用下面這種語句 　　 DROP TABLE IF EXISTS tdb_goods_types; CREATE TABLE tdb_goods