1. 程式人生 > >儲存系列1-openfiler開源儲存管理平臺實踐

儲存系列1-openfiler開源儲存管理平臺實踐

 

(一)openfiler介紹

Openfiler能把標準x86/64架構的系統變為一個更強大的NAS、SAN儲存和IP儲存閘道器,為管理員提供一個強大的管理平臺,並能應付未來的儲存需求。openfiler可以安裝在x86/64架構的工業標準伺服器上,否定了昂貴的專有儲存系統的需求。只需10分鐘即可把系統部署到戴爾、惠普、IBM等標準配置伺服器上,伺服器就變為一個功能強大的儲存網路了。

此外,與其它儲存方案不同的是,openfiler的管理是通過一個強大的、直觀的基於web的圖形使用者介面。通過這個介面,管理員可以執行諸如建立卷、網路共享磁碟分配和管理RAID等工作。

 

(1.1)豐富的協議支援

openfiler支援多種檔案界別和塊級別的資料儲存輸出協議,幾乎 涵蓋現有全部的網路儲存服務.

塊級別的協議:

  • iSCSI
  • 光纖通道(FC)

檔案級別的協議:

  • NFS
  • CIFS
  • HTTP/DAV
  • FTP
  • rsync

 

(1.2)強大的管理功能

現在的儲存解決方案都存在管理能力不足的缺點,openfiler提供了直觀且易操作的基於web的圖形操作介面(GUI),openfiler中所有網路功能和儲存方面的設定均通過這個管理介面來完成。管理介面分為網路、物理卷、使用者和組的認證/授權、系統配置和狀態資訊等。

 

(二)openfiler安裝

安裝文件見:http://www.openfiler.org.cn/index.php/document/6-openfiler-install 。

 

(三)openfiler配置

安裝安裝之後,登入openfiler伺服器,會提示Web網頁的管理地址,直接訪問Web網頁即可。網頁的預設初始賬號密碼為:openfiler/password。

 

(3.1)openfiler新增儲存磁碟

STEP1:在openfiler伺服器中新增一塊磁碟,用作共享磁碟

STEP2:在openfiler的Web管理介面可以看到新新增的磁碟

STEP3:點選磁碟名,將磁碟建立為物理卷或者軟RAID磁碟陣列(RAID需要多塊磁碟),這裡建立為物理卷

STEP4:使用物理卷建立卷組(Volume Group)

STEP5:使用卷組建立邏輯卷

 

(3.2)網路訪問配置

由於iscsi和檔案系統(xfs,ext3等)都是走網路協議,其它機器想要訪問openfiler上的儲存,還需要開通網路訪問許可權。

STEP1:開啟Web的system頁面;

STEP2:在Network Access Configuration部分新增可以訪問openfiler的網段,型別設定為share

 

(四)使用openfiler對外提供儲存

(4.1)使用openfiler對外提供塊儲存(類似SAN儲存)

使用openfiler對外提供塊儲存,可以使用iSCSI協議,也可以使用Fibre Channel協議,這裡使用基於IP的iSCSI協議。

STEP1:首先開啟openfiler伺服器的iSCSI Target服務

STEP2:建立基於塊的lv,建立方法見上面:openfiler新增儲存磁碟。需要注意最後選擇塊型別

STEP3:新增iSCSI Target

選擇新增Target IQN,target IQN是儲存客戶端訪問儲存的連線資訊

STEP4:選擇對應的lv,開啟LUN Mapping

STEP5:開啟Network ACL

以上操作均在openfiler的WEB介面完成,接下來在客戶機上配置iSCSI。

STEP6:客戶端機器上安裝iscsi initiator

yum install -y iscsi-initiator-utils*

檢視安裝

[root@mysql8 ~]# rpm -qa|grep iscsi
iscsi-initiator-utils-iscsiuio-6.2.0.874-17.el7.x86_64
iscsi-initiator-utils-6.2.0.874-17.el7.x86_64
iscsi-initiator-utils-devel-6.2.0.874-17.el7.x86_64

STEP7:iscsi initiator通過iscsiadm來管理,我們檢視提供服務的iscsi target機器上有哪些target,因為iscsi上有2塊網絡卡,所以存在2個路徑:

[root@mysql8 ~]# iscsiadm --mode discovery --type sendtargets --portal 192.168.10.100
192.168.10.100:3260,1 iqn.2006-01.com.openfiler:tsn.44b5a4673d71
192.168.20.100:3260,1 iqn.2006-01.com.openfiler:tsn.44b5a4673d71

STEP8:使用iscsiadm登入到iscsi-target,登陸成功後,iscsi-target下面的磁碟也就共享過來了(有時需要重啟iscsi initiator機器)。

[root@mysql8 ~]# iscsiadm --mode node --targetname iqn.2006-01.com.openfiler:tsn.44b5a4673d71 –portal 192.168.10.100:3260 --login

我們在儲存端只設置了4塊磁碟,但是在客戶端缺出現了8塊磁碟,這是因為openfiler有2塊網絡卡,使用2個IP登入iSCSI-Target,所以產生了重複資訊。要檢視各個IP訪問到的儲存資訊,可以使用如下命令:

  1 [root@testserver ~]#  iscsiadm -m session -P 3
  2 iSCSI Transport Class version 2.0-870
  3 version 6.2.0.874-17
  4 Target: iqn.2006-01.com.openfiler:tsn.44b5a4673d71 (non-flash)
  5     Current Portal: 192.168.10.100:3260,1
  6     Persistent Portal: 192.168.10.100:3260,1
  7         **********
  8         Interface:
  9         **********
 10         Iface Name: default
 11         Iface Transport: tcp
 12         Iface Initiatorname: iqn.1994-05.com.redhat:6e1c3397973
 13         Iface IPaddress: 192.168.10.10
 14         Iface HWaddress: <empty>
 15         Iface Netdev: <empty>
 16         SID: 1
 17         iSCSI Connection State: LOGGED IN
 18         iSCSI Session State: LOGGED_IN
 19         Internal iscsid Session State: NO CHANGE
 20         *********
 21         Timeouts:
 22         *********
 23         Recovery Timeout: 120
 24         Target Reset Timeout: 30
 25         LUN Reset Timeout: 30
 26         Abort Timeout: 15
 27         *****
 28         CHAP:
 29         *****
 30         username: <empty>
 31         password: ********
 32         username_in: <empty>
 33         password_in: ********
 34         ************************
 35         Negotiated iSCSI params:
 36         ************************
 37         HeaderDigest: None
 38         DataDigest: None
 39         MaxRecvDataSegmentLength: 262144
 40         MaxXmitDataSegmentLength: 131072
 41         FirstBurstLength: 262144
 42         MaxBurstLength: 262144
 43         ImmediateData: No
 44         InitialR2T: Yes
 45         MaxOutstandingR2T: 1
 46         ************************
 47         Attached SCSI devices:
 48         ************************
 49         Host Number: 3    State: running
 50         scsi3 Channel 00 Id 0 Lun: 0
 51             Attached scsi disk sdc        State: running
 52         scsi3 Channel 00 Id 0 Lun: 1
 53             Attached scsi disk sde        State: running
 54         scsi3 Channel 00 Id 0 Lun: 2
 55             Attached scsi disk sdg        State: running
 56         scsi3 Channel 00 Id 0 Lun: 3
 57             Attached scsi disk sdh        State: running
 58    
 59    =========================================手動分割線==========================================
 60    
 61     Current Portal: 192.168.20.100:3260,1
 62     Persistent Portal: 192.168.20.100:3260,1
 63         **********
 64         Interface:
 65         **********
 66         Iface Name: default
 67         Iface Transport: tcp
 68         Iface Initiatorname: iqn.1994-05.com.redhat:6e1c3397973
 69         Iface IPaddress: 192.168.20.20
 70         Iface HWaddress: <empty>
 71         Iface Netdev: <empty>
 72         SID: 2
 73         iSCSI Connection State: LOGGED IN
 74         iSCSI Session State: LOGGED_IN
 75         Internal iscsid Session State: NO CHANGE
 76         *********
 77         Timeouts:
 78         *********
 79         Recovery Timeout: 120
 80         Target Reset Timeout: 30
 81         LUN Reset Timeout: 30
 82         Abort Timeout: 15
 83         *****
 84         CHAP:
 85         *****
 86         username: <empty>
 87         password: ********
 88         username_in: <empty>
 89         password_in: ********
 90         ************************
 91         Negotiated iSCSI params:
 92         ************************
 93         HeaderDigest: None
 94         DataDigest: None
 95         MaxRecvDataSegmentLength: 262144
 96         MaxXmitDataSegmentLength: 131072
 97         FirstBurstLength: 262144
 98         MaxBurstLength: 262144
 99         ImmediateData: No
100         InitialR2T: Yes
101         MaxOutstandingR2T: 1
102         ************************
103         Attached SCSI devices:
104         ************************
105         Host Number: 4    State: running
106         scsi4 Channel 00 Id 0 Lun: 0
107             Attached scsi disk sdb        State: running
108         scsi4 Channel 00 Id 0 Lun: 1
109             Attached scsi disk sdd        State: running
110         scsi4 Channel 00 Id 0 Lun: 2
111             Attached scsi disk sdf        State: running
112         scsi4 Channel 00 Id 0 Lun: 3
113             Attached scsi disk sdi        State: running
View Code

STEP9:為了不去重複識別磁碟,需要在iSCSI initiator伺服器上安裝多路徑軟體

# 安裝多路徑軟體
yum install -y device-mapper*

# 將多路徑軟體新增至核心模組中
modprobe dm-multipath
modprobe dm-round-robin

# 檢查核心新增情況
[root@mysql8 ~]# lsmod |grep multipath
dm_multipath           27427  6 dm_round_robin,dm_service_time
dm_mod                123303  23 dm_round_robin,dm_multipath,dm_log,dm_mirror,dm_service_time

# 設定開機自啟動
systemctl enable multipathd.service

# 檢查開機自啟動
[root@mysql8 ~]# systemctl list-unit-files|grep multipath
multipathd.service                            enabled

啟動多路徑軟體multipathd

# 建立多路徑引數配置檔案
 /sbin/mpathconf --enable

# 啟動多路徑軟體multipathd
systemctl start multipathd.service

檢視多路徑磁碟,一共有四個磁碟,名字分別為mpatha、mpathb、mpathc、mpathd

[root@testserver ~]# multipath -ll
mpathd (14f504e46494c45527539434a6e4e2d497862592d786f7845) dm-6 OPNFILER,VIRTUAL-DISK    
size=15G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 3:0:0:3 sdh 8:112 active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 4:0:0:3 sdi 8:128 active ready running
mpathc (14f504e46494c4552756250474a432d776575552d4f6d6f43) dm-5 OPNFILER,VIRTUAL-DISK    
size=10G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 3:0:0:2 sdg 8:96  active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 4:0:0:2 sdf 8:80  active ready running
mpathb (14f504e46494c45527341486541542d50624e502d4b357963) dm-4 OPNFILER,VIRTUAL-DISK    
size=10G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 3:0:0:1 sde 8:64  active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 4:0:0:1 sdd 8:48  active ready running
mpatha (14f504e46494c4552355359507a782d674f55302d32446331) dm-3 OPNFILER,VIRTUAL-DISK    
size=10G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 3:0:0:0 sdc 8:32  active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 4:0:0:0 sdb 8:16  active ready running

到這裡,我們就可以使用從openfiler掛載過來的磁碟了。

 

NOTE:

iSCSI(Internet Small Computer System Interface)。iSCSI技術由IBM公司研究開發,是一個供硬體裝置使用的、可以在IP協議的上層執行的SCSI指令集,這種指令集合可以實現在IP網路上執行SCSI協議,使其能夠在諸如高速千兆乙太網上進行路由選擇。iSCSI技術是一種新儲存技術,該技術是將現有SCSI介面與乙太網絡(Ethernet)技術結合,使伺服器可與使用IP網路的儲存裝置互相交換資料。iSCSI是一種基於 TCP/IP 的協議,用來建立和管理 IP儲存裝置、主機和客戶機等之間的相互連線,並建立儲存區域網路(SAN)。

  • iSCSI target:就是儲存裝置端,存放磁碟或RAID的裝置,目前也能夠將Linux主機模擬成iSCSI target了!目的在提供其他主機使用的『磁碟』;
  • iSCSI initiator:就是能夠使用target的使用者端,通常是伺服器。也就是說,想要連線到iSCSI target的伺服器,也必須要安裝iSCSI initiator的相關功能後才能夠使用iSCSI target提供的磁碟。

關於磁碟多路徑,本文並沒有深入介紹如何配置。如果想要了解,可以檢視redhat官方文件(中文的哦! ):https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/7/html/dm_multipath/index 。

 

(4.2)使用openfiler對外提供檔案系統儲存(NAS儲存)

首先我們需要了解一下什麼是網路附加儲存(NAS),這一段摘自redhat官方文件:

網路附加儲存 (NAS) 是一個檔案級儲存架構,使用一個或多個配備專用磁碟的伺服器來儲存資料,並與連線網路的大量客戶端共享這些資料。

NAS 裝置會將資料當作檔案。雖然從技術層面來看它們都能完成一般的伺服器任務,但是 NAS 裝置執行的軟體可以保護資料並處理各種許可權。所以,NAS 裝置不需要功能完善的作業系統。大多數 NAS 都包含針對資料儲存和資料顯示進行過精調的嵌入式輕量級作業系統。為了顯示這些檔案,NAS 裝置會使用基於檔案的標準協議,如網路檔案系統 (NFS)、伺服器訊息塊 (SMB)、通用網際網路檔案系統 (CIFS) 和/或 Apple 檔案傳輸協議 (AFP),分別與 Linux®、UNIX、Microsoft Windows 和 Apple 裝置進行通訊。

簡單而言,NAS儲存是一個基於網路的該項儲存,使用不同作業系統( Linux、UNIX、Windows 和 Apple )的使用者可以通過不同的網路協議連線到同一個NAS檔案系統上,實現共享訪問。

openfiler可以當做一臺NAS伺服器,從而給其它使用者共享儲存,接下來將一步一步建立NAS共享儲存。

STEP1:在openfiler的WEB介面的Services中開啟CIFS Server和NFS Server服務。

STEP2:在shares中點選“create new filesystem volumn”

STEP3:選擇卷組,建立邏輯卷

STEP4:建立邏輯卷之後即可在“shares”看到剛哥建立的邏輯卷

右鍵,建立資料夾

STEP5:共享訪問控制模式選擇public guest access

STEP6:訪問協議,將NFS和CIFS設定為讀寫(RW)即可

STEP7:在客戶端機器上掛載磁碟

# 建立掛載路徑
[root@testserver ~]# mkdir /data02

# 掛載
[root@testserver ~]# mount -t nfs 192.168.10.100:/mnt/vg_test/lv_test02/data02 /data02

掛載之後,就可以看見了。

為了重啟機器後自動掛載,在fstab檔案中新增資訊

[root@testserver ~]# vim /etc/fstab 
# 新增如下掛載命令
192.168.10.100:/mnt/vg_test/lv_test02/data02  /data02  nfs defaults        0 0