1.Linux性能分析的目的
1）找出系統性能瓶頸（包括硬件瓶頸和軟件瓶頸）；
2）提供性能優化的方案（升級硬件？改進系統系統結構？）；
3）達到合理的硬件和軟件配置；
4）使系統資源使用達到最大的平衡。（一般情況下系統良好運行的時候恰恰各項資源達到了一個平衡體，任何一項資源的過渡使用都會造成平衡體系破壞，從而造成系統負載極高或者響應遲緩。比如CPU過渡使用會造成大量進程等待CPU資源，系統響應變慢，等待會造成進程數增加，進程增加又會造成內存使用增加，內存耗盡又會造成虛擬內存使用，使用虛擬內存又會造成磁盤IO增加和CPU開銷增加）

2.影響性能的因素
1）CPU（cpu的速度與性能很大一部分決定了系統整體的性能，是否使用SMP）
2）內存（物理內存不夠時會使用交換內存，使用swap會帶來磁盤I0和cpu的開銷）
3）硬盤（存儲系統）
a.Raid技術使用（RAID0, RAID1, RAID5, RAID0+1）
b.小文件讀寫瓶頸是磁盤的尋址（tps），大文件讀寫的性能瓶頸是帶寬
c.Linux可以利用空閑內存作文件系統訪問的cache，因此系統內存越大存儲系統的性能也越好
4）網絡帶寬。

3.性能分析的步驟
1)對資源的使用狀況進行長期的監控和數據采集（nagios、cacti）
2）使用常見的性能分析工具（vmstat、top、free、iostat等)
3）經驗積累
a.應用程序設計的缺陷和數據庫查詢的濫用最有可能導致性能問題
b.性能瓶頸可能是因為程序差/內存不足/磁盤瓶頸，但最終表現出的結果就是CPU耗盡，系統負載極高，響應遲緩，甚至暫時失去響應
c.物理內存不夠時會使用交換內存，使用swap會帶來磁盤I0和cpu的開銷
d.可能造成cpu瓶頸的問題：頻繁執Perl，php，java程序生成動態web；數據庫查詢大量的where子句、order by/group by排序……
e.可能造成內存瓶頸問題：高並發用戶訪問、系統進程多，java內存泄露……
f.可能造成磁盤IO瓶頸問題：生成cache文件，數據庫頻繁更新，或者查詢大表……

4.vmstat詳細介紹
vmstat是一個很全面的性能分析工具，可以觀察到系統的進程狀態、內存使用、虛擬內存使用、磁盤的IO、中斷、上下文切換、CPU使用等。對於 Linux 的性能分析，100%理解 vmstat 輸出內容的含義，並能靈活應用，那對系統性能分析的能力就算是基本掌握了。

Linux vmstat 命令詳解 http://www.linuxidc.com/Linux/2013-03/80983.htm

Linux下vmstat 顯示結果詳解 http://www.linuxidc.com/Linux/2013-01/77497.htm

Linux監控工具之vmstat 詳解 http://www.linuxidc.com/Linux/2012-09/71295.htm

Linux vmstat命令實戰詳解 http://www.linuxidc.com/Linux/2012-06/61771.htm

Linux vmstat監控系統負載 http://www.linuxidc.com/Linux/2012-01/51340.htm

vmstat命令詳解——Linux性能分析 http://www.linuxidc.com/Linux/2014-06/102884.htm

下面是vmstat命令的輸出結果：
# vmstat 1 5

對輸出解釋如下：
1）procs
a.r列表示運行和等待CPU時間片的進程數，這個值如果長期大於系統CPU個數，就說明CPU資源不足，可以考慮增加CPU；
b.b列表示在等待資源的進程數，比如正在等待I/O或者內存交換等。
2）memory
a.swpd列表示切換到內存交換區的內存數量（以KB為單位）。如果swpd的值不為0或者比較大，而且si、so的值長期為0，那麽這種情況一般不用擔心，不會影響系統性能；
b.free列表示當前空閑的物理內存數量（以KB為單位）；
c.buff列表示buffers cache的內存數量，一般對塊設備的讀寫才需要緩沖；
d.cache列表示page cached的內存數量，一般作文件系統的cached，頻繁訪問的文件都會被cached。如果cached值較大，就說明cached文件數較多。如果此時IO中的bi比較小，就說明文件系統效率比較好。
3）swap
a.si列表示由磁盤調入內存，也就是內存進入內存交換區的數量；
b.so列表示由內存調入磁盤，也就是內存交換區進入內存的數量
c.一般情況下，si、so的值都為0，如果si、so的值長期不為0，則表示系統內存不足，需要考慮是否增加系統內存。
4）IO
a.bi列表示從塊設備讀入的數據總量（即讀磁盤，單位KB/秒）
b.bo列表示寫入到塊設備的數據總量（即寫磁盤，單位KB/秒）
這裏設置的bi+bo參考值為1000，如果超過1000，而且wa值比較大，則表示系統磁盤IO性能瓶頸。
5）system
a.in列表示在某一時間間隔中觀察到的每秒設備中斷數；
b.cs列表示每秒產生的上下文切換次數。
上面這兩個值越大，會看到內核消耗的CPU時間就越多。
6）CPU
a.us列顯示了用戶進程消耗CPU的時間百分比。us的值比較高時，說明用戶進程消耗的CPU時間多，如果長期大於50%，需要考慮優化程序啥的。
b.sy列顯示了內核進程消耗CPU的時間百分比。sy的值比較高時，就說明內核消耗的CPU時間多；如果us+sy超過80%，就說明CPU的資源存在不足。
c.id列顯示了CPU處在空閑狀態的時間百分比；
d.wa列表示IO等待所占的CPU時間百分比。wa值越高，說明IO等待越嚴重。如果wa值超過20%，說明IO等待嚴重。
e.st列一般不關註，虛擬機占用的時間百分比。 （Linux 2.6.11）

本文轉載自：https://www.linuxidc.com/Linux/2015-05/117056.htm

Linux系統性能調優之性能分析