系統技術非業餘研究 » Linux下非同步IO(libaio)的使用以及效能

阿新 • • 發佈：2019-01-13

Linux下非同步IO是比較新的核心裡面才有的，非同步io的好處可以參考這裡.
但是文章中aio_*系列的呼叫是glibc提供的，是glibc用執行緒+阻塞呼叫來模擬的，效能很差，千萬千萬不要用。

我們今天要說的是真正的原生的非同步IO介面. 由於這幾個系統呼叫glibc沒有提供相應的封裝，所以libaio來救急了：

libaio專案: http://oss.oracle.com/projects/libaio-oracle/

This is a library for accessing the new AIO system calls (asynchronous i/o) for the Linux kernel. It is a thin, state-keeping wrapper that conforms to the Single Unix Specification for aio_read, aio_write, aio_error, aio_return and aio_suspend functions, and also implements lio_listio and aio_reap for batch processing.

This library requires a kernel with the new AIO code and a recent version of the libaio userspace library.

libaio提供了4個函式: io_cancal, io_destroy, io_getevents, io_setup,io_submit來提供服務，具體的可以參看man io_*

淘寶的雕樑同學寫了這篇文章介紹了libaio如何和event一起高效工作：看這裡

使用很簡單的,在RHEL 5U4上只要安裝下開發包就好:

$ sudo yum install libaio-devel

其實大家會比較關心效能。 fio 測試工具支援同步(pread/pwrite)和非同步(libaio)的測試，那我們比較下:

為了減低底層硬體（如raid）cache的影響，我們用總共2G左右的檔案做隨機讀寫操作, 完全隨機的讀寫，塊大小128K, directio繞過OS page buffer系統, 總共跑1分鐘。

在非同步io操作的時候只用一個程序保持io佇列的長度為16，同步io開16個程序，保持同樣的佇列這樣會公平些。

測試機器配置：

$ summary 
# Aspersa System Summary Report ##############################
     Release | Red Hat Enterprise Linux Server release 5.4 (Tikanga)
      Kernel | 2.6.18-164.el5
  Processors | physical = 2, cores = 8, virtual = 16, hyperthreading = yes
      Speeds | 16x2261.053
      Models | 16xIntel(R) Xeon(R) CPU E5520 @ 2.27GHz
      Caches | 16x8192 KB
# Memory #####################################################
       Total | 23.53G
...

先開始非同步IO的測試：

$ cat aio-bench
[global]
ioengine=libaio
direct=1
rw=randrw
bs=128k
directory=.
ioscheduler=deadline
time_based
runtime=60

[libaio.dat]
size=2g
iodepth=16

$ sudo fio aio-bench  
libaio.dat: (g=0): rw=randrw, bs=128K-128K/128K-128K, ioengine=libaio, iodepth=16
fio 1.50.2
Starting 1 process
Jobs: 1 (f=1): [m] [100.0% done] [31462K/34595K /s] [240 /263  iops] [eta 00m:00s]
libaio.dat: (groupid=0, jobs=1): err= 0: pid=25892
  read : io=1795.4MB, bw=30575KB/s, iops=238 , runt= 60129msec
    slat (usec): min=14 , max=130031 , avg=25.13, stdev=1084.85
    clat (usec): min=178 , max=1959.4K, avg=66231.82, stdev=154044.70
     lat (msec): min=1 , max=1959 , avg=66.26, stdev=154.04
    bw (KB/s) : min=22721, max=95552, per=100.66%, avg=30775.78, stdev=7306.36
  write: io=1836.8MB, bw=31280KB/s, iops=244 , runt= 60129msec
    slat (usec): min=12 , max=55571 , avg=18.50, stdev=458.33
    clat (usec): min=252 , max=377818 , avg=658.98, stdev=7612.29
     lat (usec): min=266 , max=377832 , avg=677.73, stdev=7626.25
    bw (KB/s) : min=20223, max=94275, per=100.74%, avg=31511.06, stdev=7334.59
  cpu          : usr=0.13%, sys=0.72%, ctx=28484, majf=0, minf=24
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=99.9%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued r/w/d: total=14363/14694/0, short=0/0/0
     lat (usec): 250=0.01%, 500=46.44%, 750=1.91%, 1000=0.39%
     lat (msec): 2=1.55%, 4=0.39%, 10=3.07%, 20=5.66%, 50=20.97%
     lat (msec): 100=14.42%, 250=4.46%, 500=0.19%, 750=0.02%, 1000=0.01%
     lat (msec): 2000=0.51%

Run status group 0 (all jobs):
   READ: io=1795.4MB, aggrb=30575KB/s, minb=31309KB/s, maxb=31309KB/s, mint=60129msec, maxt=60129msec
  WRITE: io=1836.8MB, aggrb=31279KB/s, minb=32030KB/s, maxb=32030KB/s, mint=60129msec, maxt=60129msec

Disk stats (read/write):
  sda: ios=15108/20465, merge=4704/4206, ticks=969251/16763, in_queue=989615, util=99.84%


#通過strace可以看到
...
26112 io_submit(47710156091392, 1, {{(nil), 0, 1, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 1, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 1, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 1, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 1, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 1, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 1, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_submit(47710156091392, 1, {{(nil), 0, 0, 0, 9}}) = 1
26112 io_getevents(47710156091392, 1, 1, {{(nil), 0x18ad9f00, 131072, 0}}, NULL) = 1
證明確實aio在工作。

再看下同步IO的測試：

$ cat psync-bench
[global]
ioengine=psync
direct=1
rw=randrw
bs=128k
directory=.
ioscheduler=deadline
time_based
runtime=60

[file1]
numjobs=16

$ sudo fio psync-bench
file1: (g=0): rw=randrw, bs=128K-128K/128K-128K, ioengine=psync, iodepth=1
...
file1: (g=0): rw=randrw, bs=128K-128K/128K-128K, ioengine=psync, iodepth=1
fio 1.50.2
Starting 16 processes
Jobs: 16 (f=16): [mmmmmmmmmmmmmmmm] [100.0% done] [31854K/31723K /s] [243 /242  iops] [eta 00m:00s]
file1: (groupid=0, jobs=1): err= 0: pid=26145
  read : io=118144KB, bw=1967.1KB/s, iops=15 , runt= 60036msec
    clat (msec): min=3 , max=1531 , avg=64.36, stdev=133.07
     lat (msec): min=3 , max=1531 , avg=64.36, stdev=133.07
    bw (KB/s) : min=   84, max= 6083, per=7.02%, avg=2205.14, stdev=807.87
  write: io=121984KB, bw=2031.9KB/s, iops=15 , runt= 60036msec
    clat (usec): min=264 , max=153817 , avg=660.30, stdev=6100.86
     lat (usec): min=265 , max=153818 , avg=660.53, stdev=6100.88
    bw (KB/s) : min=   84, max= 5765, per=7.32%, avg=2311.53, stdev=1256.97
  cpu          : usr=0.00%, sys=0.05%, ctx=1877, majf=0, minf=32
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued r/w/d: total=923/953/0, short=0/0/0
     lat (usec): 500=46.75%, 750=2.40%, 1000=0.43%
     lat (msec): 2=1.01%, 4=0.16%, 10=2.99%, 20=4.69%, 50=20.31%
     lat (msec): 100=15.41%, 250=5.28%, 500=0.21%, 2000=0.37%
...
省去中間15個檔案
...
Run status group 0 (all jobs):
   READ: io=1844.0MB, aggrb=31411KB/s, minb=1699KB/s, maxb=2186KB/s, mint=60001msec, maxt=60114msec
  WRITE: io=1852.9MB, aggrb=31562KB/s, minb=1620KB/s, maxb=2325KB/s, mint=60001msec, maxt=60114msec

Disk stats (read/write):
  sda: ios=15756/20708, merge=4553/4159, ticks=979074/16483, in_queue=999501, util=99.83%

#通過strace可以看到
26195 pwrite(20, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 131072, 5242880) = 131072
26195 pwrite(20, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 131072, 23855104) = 131072
26195 pwrite(20, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 131072, 7864320) = 131072
26195 pread(20,  <unfinished ...>
證明確實是pread/pwrite操作的。

從上面的資料我們可以看出，最後的結果都是裝置的IO能力將近100%的被使用，二個測試的吞吐量差不多。但是如果從當個程序提交的吞吐量來看的話，一個aio程序相當於16個同步程序的能力，也就是說如果大家都是一個程序在幹活的話，那麼aio的能力要比同步的好太多了。

大家玩得開心！

Post Footer automatically generated by wp-posturl plugin for wordpress.

系統技術非業餘研究 » Linux下非同步IO(libaio)的使用以及效能

系統技術非業餘研究 » Linux下非同步IO(libaio)的使用以及效能

系統技術非業餘研究 » Linux下新系統呼叫sync_file_range

系統技術非業餘研究 » Linux下方便的socket讀寫檢視器（socktop）

系統技術非業餘研究 » Linux下誰在消耗我們的cache

系統技術非業餘研究 » Linux下誰在切換我們的程序

系統技術非業餘研究 » Linux下pstack的實現

系統技術非業餘研究 » Linux下試驗大頁面對映（MAP_HUGETLB）

系統技術非業餘研究 » Linux下Fio和Blktrace模擬塊裝置的訪問模式

系統技術非業餘研究 » Linux下方便的塊裝置檢視工具lsblk

系統技術非業餘研究 » Linux下pipe使用注意事項

系統技術非業餘研究 » Linux下如何知道檔案被那個程序寫

系統技術非業餘研究 » Linux檔案預讀分析以及評估對系統的影響

系統技術非業餘研究 » Linux快取記憶體使用率調查

系統技術非業餘研究 » Linux系統記憶體相關資訊獲取

系統技術非業餘研究 » Linux 2.6.38 User

系統技術非業餘研究 » Linux IO協議棧框圖

系統技術非業餘研究 » Linux TASK_IO_ACCOUNTING功能以及如何使用

系統技術非業餘研究 » Linux Used記憶體到底哪裡去了？

系統技術非業餘研究 » Linux常用效能調優工具索引

系統技術非業餘研究 » 看圖學TCP API以及狀態變遷

系統技術非業餘研究 » Linux下非同步IO(libaio)的使用以及效能

相關推薦