前言

關於本章內容，設計的東西比較多。這裡會有關於檔案系統、磁碟、CPU等方面的知識，以及涉及到關於這方面的效能排查等。

術語

檔案系統通過快取和緩衝以及非同步I/O等手段來緩和磁碟的延時對應用程式的影響。為了更詳細的瞭解檔案系統，以下就簡單介紹一些相關術語：

• 檔案系統：一種把資料組織成檔案和目錄的儲存方式，提供了基於檔案的存取介面，並通過檔案許可權控制訪問。另外，一些表示裝置、套接字和管道的特殊檔案型別，以及包含檔案訪問時間戳的元資料。
• 檔案系統快取：主存(通常是DRAM) 的一塊區域，用來快取檔案系統的內容，可能包含各種資料和元資料。
• 操作：檔案系統的操作是對檔案系統的請求，包括讀、寫、開啟、關閉、建立以及其他操作。
• I/O：輸入/輸出。檔案系統I/O有多種定義，這裡僅指直接讀寫（執行I/O）的操作，包括讀、寫、狀態統計、建立。I/O不包括開啟檔案和關閉檔案。
• 邏輯I/O：由應用程式發給檔案系統的I/O。
• 物理I/O：由檔案系統直接發給磁碟的I/O。
• 吞吐量：當前應用程式和檔案系統之間的資料傳輸率，單位是B/S。
• inode：一個索引節點時一種含有檔案系統物件元資料的資料結構，其中有訪問許可權、時間戳以及資料指標。
• VFS：虛擬檔案系統，一個為了抽象與支援不同檔案系統型別的核心介面。

磁碟相關術語：

• 儲存裝置的模擬。在系統看來，這是一塊物理磁碟，但是，它可能由多塊磁碟組成。
• 傳輸匯流排：用來通訊的物理匯流排，包括資料傳輸以及其他磁碟命令。
• 扇區：磁碟上的一個儲存塊，通常是512B的大小。
• I/O：對於磁碟，嚴格地說僅僅指讀、寫，而不包括其他磁碟命令。I/O至少由方向（讀或寫）、磁碟地址（位置）和大小（位元組數）組成。
• 磁碟命令：除了讀寫之外，磁碟還會被指派執行其他非資料傳輸的命令（例如快取寫回）。
• 頻寬：儲存傳輸或者控制器能夠達到的最大資料傳輸速率。
• I/O延時：一個I/O操作的執行時間，這個詞在作業系統領域廣泛使用，早已超出了裝置層。

相關概念

　　檔案系統延時
       檔案系統延時是檔案系統性能一項主要的指標，指的是一個檔案系統邏輯請求從開始到結束的時間。它包括消耗在檔案系統、核心磁碟I/O子系統以及等待磁碟裝置——物理I/O的時間。應用程式的執行緒通常在請求時阻塞，等地檔案系統請求的結束。這種情況下，檔案系統的延時與應用程式的效能直接和成正比關係。在某些情況下，應用程式並不受檔案系統的直接影響，例如非阻塞I/O或者I/O由一個非同步執行緒發起。

　　快取

       檔案系統啟動之後會使用主存(RAM)當快取以提供效能。快取大小隨時間增長而作業系統的空餘記憶體不斷減小，當應用程式需要更多記憶體時，核心應該迅速從檔案系統快取中釋放一些記憶體空間。檔案系統用快取(caching)提高讀效能，而用緩衝(buffering)提高寫效能。檔案系統和塊裝置子系統一般使用多種型別的快取。

　　隨機I/O與順序I/O
        一連串的檔案系統邏輯I/O，按照每個I/O的檔案偏移量，可以分為隨機I/O與順序I/O。順序I/O裡每個I/O都開始於上一個I/O結束的地址。隨機I/O則找不出I/O之間的關係，偏移量隨機變化。隨機的檔案系統負載也包括存取隨機的檔案。由於儲存裝置的某些效能特徵的緣故，檔案系統一直以來在磁碟上順序和連續的存放檔案資料，以努力減小隨機I/O的數目。當檔案系統未能達到這個目標時，檔案的擺放變得雜亂無章，順序的邏輯I/O被分解成隨機的物理I/O，這種情況被稱為碎片化。

提示：關於檔案系統更多內容，還請自行查閱相關理論。比如你還需要了解檔案系統的預讀、預取、寫回快取、同步寫、裸I/O、直接I/O、記憶體對映檔案、元資料等相關知識。

效能分析

具備背景知識是分析效能問題時需要了解的。比如硬體 cache;再比如作業系統核心。應用程式的行為細節往往是和這些東西互相牽扯的，這些底層的東西會以意想不到的方式影響應用程式的效能，比如某些程式無法充分利用 cache，從而導致效能下降。比如不必要地呼叫過多的系統呼叫，造成頻繁的核心 / 使用者切換等。如果想深入瞭解Linux系統，建議購買相關書籍進行系統的學習。下面我們介紹如何分析磁碟效能工具（其實準確來說，不只是磁碟）：

iostat

彙總了單個磁碟的統計資訊，為磁碟負載、使用率和飽和度提供了指標。預設顯示一行系統總結資訊，包括核心版本、主機名、日誌、架構和CPU數量等，每個磁碟裝置都佔一行。

[[email protected] ~]# iostat 
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 	2017年09月18日 	_x86_64_	(1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.74    0.00    1.24    1.35    0.00   96.67

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda              14.43       456.85        60.82     218580      29098
scd0              0.02         0.09         0.00         44          0
dm-0             13.65       404.58        56.50     193571      27030
dm-1              0.27         2.23         0.00       1068          0

引數說明

• tps: 每秒事物數(IOPS)。
• kB_read/s、kB_wrtn/s: 每秒讀取KB數和每秒寫入KB數。
• kB_read、kB_wrtn: 總共讀取和寫入的KB數。

如下想輸出更詳細的內容，可以試試下面這個命令組合：

[[email protected] ~]# iostat -xkdz 1
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 	2017年09月18日 	_x86_64_	(1 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.01     2.43   13.81    2.32   510.51    67.96    71.74     0.22   13.94    8.72   44.95   2.37   3.82
scd0              0.00     0.00    0.03    0.00     0.10     0.00     8.00     0.00    0.27    0.27    0.00   0.27   0.00
dm-0              0.00     0.00   10.52    4.73   452.10    63.13    67.56     0.44   28.56   10.41   68.93   2.47   3.76
dm-1              0.00     0.00    0.30    0.00     2.49     0.00    16.69     0.00    1.50    1.50    0.00   1.38   0.04

引數說明

• rrqm/s：每秒合併放入驅動請求佇列的讀請求數（當系統呼叫需要讀取資料的時候，VFS將請求發到各個FS，如果FS發現不同的讀取請求讀取的是相同Block的資料，FS會將這個請求合併Merge）。
• wrqm/s：每秒合併放入驅動請求佇列的寫請求數。
• rsec/s：每秒發給磁碟裝置的讀請求數。
• wsec/：每秒發給磁碟裝置的寫請求數。
• rKB/s：每秒從磁碟裝置讀取的KB數。
• wKB/s：每秒向磁碟裝置寫入的KB數。
• avgrq-sz 平均每次請求大小，單位為扇區(512B)。
• avgqu-sz 在驅動請求佇列和在裝置中活躍的平均請求數。
• await： 平均I/O響應時間，包括在驅動請求佇列裡等待和裝置的I/O響應時間(ms)。一般地系統I/O響應時間應該低於5ms，如果大於10ms就比較大了。這個時間包括了佇列時間和服務時間，也就是說，一般情況下，await大於svctm，它們的差值越小，則說明佇列時間越短，反之差值越大，佇列時間越長，說明系統出了問題。
• svctm：磁碟裝置的I/O平均響應時間(ms)。如果svctm的值與await很接近，表示幾乎沒有I/O等待，磁碟效能很好，如果await的值遠高於svctm的值，則表示I/O佇列等待太長系統上執行的應用程式將變慢。
• %util： 裝置忙處理I/O請求的百分比(使用率)。在統計時間內所有處理IO時間，除以總共統計時間。例如，如果統計間隔1秒，該裝置有0.8秒在處理IO，而0.2秒閒置，那麼該裝置的%util = 0.8/1 = 80%，所以該引數暗示了裝置的繁忙程度。一般地，如果該引數是100%表示裝置已經接近滿負荷運行了（當然如果是多磁碟，即使%util是100%，因為磁碟的併發能力，所以磁碟使用未必就到了瓶頸）。

      既然avgrq-sz是合併之後的數字，小尺寸（16個扇區或者更小）可以視為無法合併的實際I/O負載的跡象。大尺寸有可能是大I/O，或者是合併的連續負載。輸出效能裡最重要的指標是await。如果應用程式和檔案系統使用了降低寫延時的方法，w_await可能不那麼重要，而更應該關注r_await。
      對於資源使用和容量規劃，%util仍然很重要，不過記住這只是繁忙度的一個度量（非空閒時間），對於後面有多塊磁碟支援的虛擬裝置意義不大。可以通過施加負載更好地瞭解這些裝置:IOPS(r/s + w/s)以及吞吐量（rkB/s + wkB/s）。

iotop

包含磁碟I/O的top工具。

批量模式(-b)可以提供滾動輸出。下面的演示僅僅顯示I/O程序(-o)，每5秒輸出一次(-d5)：

[[email protected] ~]# iotop -bod5

Total DISK READ :       0.00 B/s | Total DISK WRITE :       8.76 K/s
Actual DISK READ:       0.00 B/s | Actual DISK WRITE:      24.49 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN      IO    COMMAND
21203 be/3 root        0.00 B/s  815.58 B/s  0.00 %  0.01 % [jbd2/dm-2-8]
22069 be/3 root        0.00 B/s    0.00 B/s  0.00 %  0.01 % [jbd2/dm-1-8]
 1531 be/0 root        0.00 B/s    6.37 K/s  0.00 %  0.01 % [loop0]
 3142 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.01 % [kworker/7:0]
21246 be/4 root        0.00 B/s 1631.15 B/s  0.00 %  0.00 % java -Djava.util.logging.config.file=/usr/local/tomcat/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.endorsed.dirs=/usr/local/tomcat/endorsed -classpath /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar -Dcatalina.base=/usr/local/tomcat -Dcatalina.home=/usr/local/tomcat -Djava.io.tmpdir=/usr/local/tomcat/temp org.apache.catalina.startup.Bootstrap start

提示：

        輸出顯示java程序正在以大約1631.15 B/s的速率施加磁碟寫負載。其他有用的選項有-a，可以輸出累計I/O而不是一段時間內的平均值，選項-o，只打印那些正在執行的磁碟I/O的程序。

　　當然顯示磁碟的命令還有例如sar、iosnoop、perf、blktrace等命令，這裡只列舉常用命令即可。

效能調優

檔案系統優化

關於檔案系統優化，並沒有太多的內容需要說明。就目前的情況，Redhat Enterprise 7系列預設更換為效能更好的XFS，這也是由於XFS在效能表現確實很好的原因。在我們使用的過程中，建議對XFS做一些簡單的優化即可，比如執行格式化時指定額外的一些引數，掛載該分割槽時指定一些額外的掛載引數，這些都能夠提高檔案系統的相關效能。

格式化時的引數：

mkfs.xfs -d agcount=256 -l size=128m,lazy-count=1,version=2 /dev/diska1

mount時的引數：

defaults,noatime,nodiratime,nobarrier,discard,allocsize=256m,logbufs=8,attr2,logbsize=256k

磁碟相關優化

• 作業系統可調引數

　　包括ionice、資源控制和核心可調引數。

　　ionice

　　Linux中的ionice命令可以設定一個程序I/O排程級別和優先順序。排程級別為整數，0表示無，不指定級別，核心會挑選一個預設值，優先順序根據程序nice值選定；1表示實時，對磁碟的最高級別訪問，如果誤用會導致其他程序餓死；2表示盡力，預設排程級別，包括優先順序 0~7，0為最高階；3表示空閒，在一段磁碟空閒的期限過後才允許進行I/O。如下：

ionice -c 3 -p 65552

　   cgroup

　　通過cgroup為程序或程序組提供儲存裝置資源控制機制。一般很少用到，不用考慮。

　   可調引數

　　/sys/block/sda/queue/scheduler：選擇I/O排程器策略，是空操作、最後期限、an還是cfq；

• 磁碟裝置可調引數

　　Linux上的hdparm（磁碟測試工具）工具可以設定多種磁碟裝置的可調引數。

• 磁碟控制器可調引數