Dell/R730XD sas盤 raid0與JBOD性能比較
阿新 • • 發佈：2017-09-01
ops enable class all follow pset sla pan 使用
服務器配置
Dell/R730XD 2620V4*2 16G DDR4*4 300G SAS*2+6T SAS*12
oracle linux 6.9
基礎知識
RAID0
raid0組成方式：1塊或多塊磁盤組成，磁盤a寫一部分數據，b寫一部分，...，通過將數據分散到不同的磁盤，來提升速度，因此速度為單塊磁盤的n(磁盤數)倍。
優點：性能提升，是單盤的n倍；
缺點：無安全冗余，一塊壞，全完蛋。
配置單盤raid0的命令：
/opt/MegaRAID/MegaCli/MegaCli64 -PDlist -aALL | grep "ID" | uniq | awk -F: ‘{print $2}‘ | awk ‘{print $1}‘ Enclosure Device ID: 32 ##對每塊盤創建raid0，參數解釋： ##cfgLdAdd 可創建raid0、1、5、6 ##[Enclosure Device ID:磁盤slot] ##[WT|WB] raid寫策略：write through(不寫緩存)和write back(寫緩存)，sas盤隨機寫性能比較差，因此設置WB ##[NORA|RA|ADRA] raid讀策略：no read ahead(默認)|read ahead | adpter read ahead ##[direct，cached]讀緩存模式：默認direct，讀一般不需要經過緩存 ##[CachedBadBBU|NoCachedBadBBU]：bbu和write cache的關系，[bad bbu，write back變為write through|bad bbu，依然write back] ## a0 raid卡 adapterid /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:0] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:1] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:2] WB Direct -a0/opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:3] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:4] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:5] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:6] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:7] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:8] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:9] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:10] WB Direct -a0 /opt/MegaRAID/MegaCli/MegaCli64 -cfgLdAdd -r0 [32:11] WB Direct -a0 ##查看設備 /opt/MegaRAID/MegaCli/MegaCli64 -cfgdsply –aALL | grep -E "DISK\ GROUP|Slot\ Number" [@s26.txyz.db.d ~]# fdisk -l | grep ‘\/dev\/sd‘ Disk /dev/sda: 299.4 GB, 299439751168 bytes /dev/sda1 * 1 2611 20971520 83 Linux /dev/sda2 2611 5222 20971520 83 Linux /dev/sda3 5222 7311 16777216 82 Linux swap / Solaris /dev/sda4 7311 36405 233700352 5 Extended /dev/sda5 7311 9922 20971520 83 Linux /dev/sda6 9922 36405 212726784 83 Linux Disk /dev/sdb: 6000.6 GB, 6000606183424 bytes Disk /dev/sdc: 6000.6 GB, 6000606183424 bytes Disk /dev/sdd: 6000.6 GB, 6000606183424 bytes Disk /dev/sde: 6000.6 GB, 6000606183424 bytes Disk /dev/sdf: 6000.6 GB, 6000606183424 bytes Disk /dev/sdg: 6000.6 GB, 6000606183424 bytes Disk /dev/sdh: 6000.6 GB, 6000606183424 bytes Disk /dev/sdi: 6000.6 GB, 6000606183424 bytes Disk /dev/sdj: 6000.6 GB, 6000606183424 bytes Disk /dev/sdk: 6000.6 GB, 6000606183424 bytes Disk /dev/sdl: 6000.6 GB, 6000606183424 bytes Disk /dev/sdm: 6000.6 GB, 6000606183424 bytes
JBOD
JBOD：如果說raid0是是一種橫排組合，那JBOD就是一種縱向組合，盡管有n塊盤，只能一塊寫滿之後，寫第二塊；一種邏輯組合，損壞一塊就會丟失一部分數據。
優點：損失一塊磁盤，只丟一部分數據
缺點：寫性能相當於單盤。
配置步驟：
##開啟adapter0的JBOD /opt/MegaRAID/MegaCli/MegaCli64 -AdpSetProp EnableJBOD 1 -a0 ##對32:0配置JBOD，可惜的是，無法設置一些raid卡參數 /opt/MegaRAID/MegaCli/MegaCli64 -PDMakeJBOD -physdrv[32:0] -a0 ##
性能測試
按上面的特性來看，多塊盤的時候，在性能上沒有可比較的地方，但本次mfs分布式存儲集群配置，需要使用單盤單卷，因此壓測場景如下：
- 單盤raid0
- 5塊盤raid0
- 單塊盤JBOD
- 5塊盤JBOD
分兩種場景：隨機寫，順序寫。壓測采用fio進行。
iops
| seq-write | rand-write | seq-read | rand-read | |
| RAID0 | 95611 | 7098 | 56266 | 3463 |
| JBOD | 463 | 971 | 55593 | 630 |
bandwidth(kb/s)
| seq-write | rand-write | seq-read | rand-read | |
| RAID0 | 382448 | 28393 | 225065 | 13852 |
| JBOD | 1853.2 | 3886.8 | 222374 | 2521.7 |
看到這個結果，感覺多盤陣列沒有測的必要了。
結論
raid0單盤的順序寫性能大約是JBOD的200倍，隨機寫性能是其10倍。原因可能因為JBOD是軟raid，並不適用raid卡，而寫raid使用了WB
兩者順序讀性能相似，但隨機讀性能，raid0大約是JBOD的5倍。
Dell/R730XD sas盤 raid0與JBOD性能比較