1. 程式人生 > >Linux---使用 nice、cpulimit 和 cgroups 限制 cpu 佔用率

Linux---使用 nice、cpulimit 和 cgroups 限制 cpu 佔用率

Linux核心在各個程序間公平地分配系統資源,以保障系統的正常運轉。但是有時候,我們需要提高一個程序的優先順序,或者降低一個程序的優先順序,我們就需要由使用者為核心指定程序的優先順序。

大部分程序啟動時的優先順序是相同的,因此Linux核心會公平地進行排程。 如果想讓一個CPU密集型的程序執行在較低優先順序,那就需要事先配置好排程器。

下面介紹3種控制程序執行時間的方法:

  • 使用 nice 命令手動降低任務的優先順序。
  • 使用 cpulimit 命令不斷的暫停程序,以控制程序所佔用處理能力不超過特定限制。
  • 使用linux內建的control groups(控制組)功能,它提供了限制程序資源消耗的機制。

下面具體介紹一下這三種工具。

模擬高cpu佔用率

開始之前,我們需要通過工具來模擬高CPU佔用率的場景。這裡使用的系統為「CentOS release 6.6」,並使用Mathomatic toolkit中的質數生成器來模擬CPU負載。

由於在CentOS上這個工具沒有預編譯好的版本,所以必須要從原始碼進行安裝。先從 https://github.com/mfillpot/mathomatic.git 這個連結下載原始碼,然後進入 mathomatic/primes 資料夾,執行 makemake install 進行編譯和安裝。這樣,就把 matho-primes 程式安裝到了 /usr/local/bin 目錄中。

接下來,通過命令列執行:

/usr/local/bin/matho-primes 0 9999999999 >/dev/null &
  • 1

程式執行後,將輸出從0到9999999999之間的質數。因為我們並不需要這些輸出結果,直接將輸出重定向到/dev/null就好。

現在,使用htop(或top)命令就可以看到matho-primes程序榨乾了所有的cpu資源(雙核中的一個)。然後把這個程序kill掉。
這裡寫圖片描述

nice命令

nice命令可以修改程序的優先順序,這樣就可以讓程序執行得不那麼頻繁。 這個功能在執行cpu密集型的後臺程序或批處理作業時尤為有用。 nice值的取值範圍是[-20,19],-20表示最高優先順序,而19表示最低優先順序。 Linux程序的預設nice值為0。使用nice命令(不帶任何引數時)可以將程序的nice值設定為10。這樣排程器就會將此程序視為較低優先順序的程序,從而減少cpu資源的分配。

下面來看一個例子,我們同時執行兩個 matho-primes 程序,一個使用nice命令來啟動執行,而另一個正常啟動執行:

nice matho-primes 0 9999999999 >/dev/null &

matho-primes 0 9999999999 >/dev/null &
  • 1
  • 2
  • 3

再通過htop檢視:
這是雙核的情況,儘管兩個程序的nice值不同,還是各自跑滿了兩個核心。
這裡寫圖片描述

這是單核的情況:cpu的佔有率和nice比值對應。
這裡寫圖片描述

正常執行的程序(nice值為0)獲得了更多的cpu執行時間,相反的,用nice命令執行的程序佔用的cpu時間會較少(nice值為10)。

在實際使用中,如果你要執行一個CPU密集型的程式,那麼最好用nice命令來啟動它,這樣就可以保證其他程序獲得更高的優先順序。 也就是說,即使你的伺服器或者桌上型電腦在過載的情況下,也可以快速響應。

nice 還有一個關聯命令叫做 renice,它可以在執行時調整程序的 nice 值。使用 renice 命令時,要先找出程序的 PID。下面是一個例子:

renice +10 1234
  • 1

其中,1234是程序的 PID。

測試完 nice 和 renice 命令後,記得要將 matho-primes 程序全部殺掉。

cpulimit命令

cpulimit 命令的工作原理是為程序預設一個 cpu 佔用率門限,並實時監控程序是否超出此門限,若超出則讓該程序暫停執行一段時間。cpulimit 使用 SIGSTOP 和 SIGCONT 這兩個訊號來控制程序。它不會修改程序的 nice 值,而是通過監控程序的 cpu 佔用率來做出動態調整。

cpulimit 的優勢是可以控制程序的cpu使用率的上限值。但與 nice 相比也有缺點,那就是即使 cpu 是空閒的,程序也不能完全使用整個 cpu 資源。

在 CentOS 上,可以用下面的方法來安裝cpulimit:

wget -O cpulimit.zip https://github.com/opsengine/cpulimit/archive/master.zip
unzip cpulimit.zip
cd cpulimit-master
make
cp src/cpulimit /usr/bin
  • 1
  • 2
  • 3
  • 4
  • 5

cpulimit 的使用方式和 nice 命令類似,但是需要使用者使用 -l 選項顯式地定義程序的 cpu 使用率上限值。舉例說明:

cpulimit -l 50 matho-primes 0 9999999999 >/dev/null &
  • 1

這裡寫圖片描述
從上面的例子可以看出 matho-primes 只使用了50%的 cpu 資源,剩餘的 cpu 時間都在 idle。

cpulimit 還可以在執行時對程序進行動態限制,使用 -p 選項來指定程序的 PID,下面是一個例項,其中,1234是程序的 PID。:

cpulimit -l 50 -p 1234
  • 1

cgroups 命令集

檢查是否安裝:

rpm -qa libcgroup

libcgroup-0.40.rc1-18.el6_8.x86_64
  • 1
  • 2
  • 3

如果沒有安裝的話,centos安裝方式:

yum -y install libcgroup
  • 1

啟動:

/etc/init.d/cgconfig start
Starting cgconfig service:                                 [確定]

/etc/init.d/cgconfig status
Running
  • 1
  • 2
  • 3
  • 4
  • 5

cgroups 是 Linux 核心提供的一種機制,利用它可以指定一組程序的資源分配。 具體來說,使用 cgroups,使用者能夠限定一組程序的 cpu 佔用率、系統記憶體消耗、網路頻寬,以及這幾種資源的組合。

對比nice和cpulimit,cgroups 的優勢在於它可以控制一組程序,不像前者僅能控制單程序。同時,nice 和 cpulimit 只能限制 cpu 使用率,而 cgroups 則可以限制其他程序資源的使用。

對 cgroups 善加利用就可以控制好整個子系統的資源消耗。就拿 CoreOS 作為例子,這是一個專為大規模伺服器部署而設計的最簡化的 Linux 發行版本,它的 upgrade 程序就是使用 cgroups 來管控。這樣,系統在下載和安裝升級版本時也不會影響到系統的效能。

下面做一下演示,我們將建立兩個控制組(cgroups),並對其分配不同的 cpu 資源。這兩個控制組分別命名為“cpulimited”和“lesscpulimited”。

使用 cgcreate 命令來建立控制組,如下所示:

sudo cgcreate -g cpu:/cpulimited

sudo cgcreate -g cpu:/lesscpulimited
  • 1
  • 2
  • 3

其中“-g cpu”選項用於設定 cpu 的使用上限。除 cpu 外,cgroups 還提供 cpuset、memory、blkio 等控制器。cpuset 控制器與 cpu 控制器的不同在於,cpu 控制器只能限制一個 cpu 核的使用率,而 cpuset 可以控制多個 cpu 核。

cpu 控制器中的 cpu.shares 屬性用於控制 cpu 使用率。它的預設值是 1024,我們將 lesscpulimited 控制組的 cpu.shares 設為1024(預設值),而 cpulimited 設為512,配置後核心就會按照2:1的比例為這兩個控制組分配資源。

要設定 cpulimited 組的 cpu.shares 為 512,輸入以下命令:

sudo cgset -r cpu.shares=512 cpulimited
  • 1

使用 cgexec 命令來啟動控制組的執行,為了測試這兩個控制組,我們先用cpulimited 控制組來啟動 matho-primes 程序,命令列如下:

sudo cgexec -g cpu:cpulimited /usr/local/bin/matho-primes 0 9999999999 > /dev/null &
  • 1

開啟 htop 可以看到,matho-primes 程序佔用了所有的 cpu 資源。
這裡寫圖片描述

因為只有一個程序在系統中執行,不管將其放到哪個控制組中啟動,它都會盡可能多的使用cpu資源。cpu 資源限制只有在兩個程序爭奪cpu資源時才會生效。

那麼,現在我們就啟動第二個 matho-primes 程序,這一次我們在 lesscpulimited 控制組中來啟動它:

sudo cgexec -g cpu:lesscpulimited /usr/local/bin/matho-primes 0 9999999999 > /dev/null &
  • 1

再開啟 top 就可以看到,cpu.shares 值大的控制組會得到更多的 cpu 執行時間。
這裡寫圖片描述

現在,我們再在 cpulimited 控制組中增加一個 matho-primes 程序:

sudo cgexec -g cpu:cpulimited /usr/local/bin/matho-primes 0 9999999999 > /dev/null &
  • 1

這裡寫圖片描述

可以看到,兩個控制組的 cpu 的佔用率比例仍然為2:1。其中,cpulimited 控制組中的兩個 matho-primes 程序獲得的cpu 時間基本相當,而另一組中的 matho-primes 程序顯然獲得了更多的執行時間。

總結

nice、cpulimit 和 cgroups可以幫助管理系統資源,特別是cpu資源:

  • nice可以一次性調整程序的優先順序。
  • cpulimit在執行cpu密集型任務且要保持系統的響應性時會很有用。
  • cgroups是資源管理的瑞士軍刀,同時在使用上也很靈活。