1. 程式人生 > >Ceph學習----Ceph效能測試

Ceph學習----Ceph效能測試

CSDN 為我的同步更新部落格,部落格原地址:airheaven.cn

一、效能影響

先來分析下哪些因素可能影響儲存的效能,硬體部分就不說了,hdd和ssd出場的時候都會有官方的iops和throughput的指標,這裡也不是重點考慮因素,那麼影響儲存效能的在軟體層面都有哪些呢?

  1. IO大小:檔案系統一般io大小為4KB,也就是說,如果寫入大於4KB大小的檔案,那麼會被拆成多個4KB的塊進行儲存,如果小於4KB大小,那麼將被寫入一個4KB的塊,該值可以通過修改作業系統配置引數並重新編譯核心實現
  2. 佇列深度:在某一時間有N的io請求(包括佇列中的io請求和正在處理的io請求),其中N就是佇列深度。更大的佇列深度就意味著磁碟的空閒時間更短,就可以提高磁碟的利用率,但是更大的佇列深度也意味著更長的響應時間,佇列深度和響應時間需要權衡考慮
  3. 讀寫模式以及隨機/順序模式:讀的效能好於寫,順序的效能好於隨機

二、環境準備

ceph 叢集:

ceph1(1c1G):osd0(iscsi)

ceph2(1c1G):osd1(iscsi),osd2(iscsi)

ceph3(1c1G):mon,mds

ceph4(1c1G):osd3(iscsi)

這4臺機器均為vmware的虛擬機器,所以首先提供裸盤的效能測試指標

fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randwrite -size=5G  -name="EBS 4K randwrite test" -iodepth=1 -runtime=60

iodepth iops ResponsTime 95.00thRT util MBPS type iosize
1 4306 121.16 161 92.39 17.227 randw 4k
2 6180 186.95 245 100 24.722 randw 4k
4 6336 488.18 684 98.12 25.344 randw 4k
8 5928 1196.49 2256 96.76 23.715 randw 4k
16 6460 2331.19 5152 97.73 25.84 randw 4k
64 6496 9708.59 19000 97.96 25.986 randw 4k
4 6336 488.18 684 98.12 25.344 randw 4k
4 8732 348 494 97.68 34.931 w 4k
4 12838 238.73 338 99.5 51.353 randr 4k
4 8986 386.5 434 99.7 35.946 r 4k
4 12838 238.73 338 99.5 51.353 randr 4k
4 12575 244.32 338 99.94 100.602 randr 8k
4 11625 270.07 366 99.66 186.01 randr 16k
4 6851 520.29 636 99.47 438.515 randr 64k
4 1598 2408.44 2576 99.36 409.216 randr 256k

將ceph通過前文提高的方式(檔案系統為xfs)掛載到本地目錄,在本地目錄做測試,測試結果如下:

iodepth iops ResponsTime 95.00thRT util MBPS type iosize
1 324 3030 4128 100 1.2996 randw 4k
2 429 4620 9000 99.97 1.7164 randw 4k
4 463 8600 18000 100 1.8524 randw 4k
8 465 17170 36000 99.99 1.8604 randw 4k
16 488 32700 74000 99.97 1.9541 randw 4k
64 502 127390 343000 100 2.0088 randw 4k
4 463 8600 18000 100 1.8524 randw 4k
4 550 7250 15000 99.99 2.2019 w 4k
4 339 11756.33 39680 100 1.3582 randr 4k
4 48503 80.3 18000 99.77 194.015 r 4k
4 48503 80.3 18 99.77 194.015 r 4k
4 29752 131.66 900 99.67 238.021 r 8k
4 16610 236.39 956 99.56 265.772 r 16k
4 4499 875.49 1448 99.57 287.96 r 64k
4 1644 2380.67 4384 99.57 420.912 r 256k

測試結果有很多和我預期不符合的地方,後續的文章將針對測試方法以及測試結果做分析,試圖說明其中的原因。