1. 程式人生 > >儲存基礎知識(三)塊儲存,檔案儲存,物件儲存

儲存基礎知識(三)塊儲存,檔案儲存,物件儲存

1、塊儲存

典型裝置:磁碟陣列,硬碟

塊儲存主要是將裸磁碟空間整個對映給主機使用的,就是說例如磁碟陣列裡面有5塊硬碟(為方便說明,假設每個硬碟1G),然後可以通過劃邏輯盤、做Raid、或者LVM(邏輯卷)等種種方式邏輯劃分出N個邏輯的硬碟。(假設劃分完的邏輯盤也是5個,每個也是1G,但是這5個1G的邏輯盤已經於原來的5個物理硬碟意義完全不同了。例如第一個邏輯硬碟A裡面,可能第一個200M是來自物理硬碟1,第二個200M是來自物理硬碟2,所以邏輯硬碟A是由多個物理硬碟邏輯虛構出來的硬碟。)

接著塊儲存會採用對映的方式將這幾個邏輯盤對映給主機,主機上面的作業系統會識別到有5塊硬碟,但是作業系統是區分不出到底是邏輯還是物理的,它一概就認為只是5塊裸的物理硬碟而已,跟直接拿一塊物理硬碟掛載到作業系統沒有區別的,至少作業系統感知上沒有區別。

此種方式下,作業系統還需要對掛載的裸硬碟進行分割槽、格式化後,才能使用,與平常主機內建硬碟的方式完全無異。

優點:

1、 這種方式的好處當然是因為通過了Raid與LVM等手段,對資料提供了保護。

2、 另外也可以將多塊廉價的硬碟組合起來,成為一個大容量的邏輯盤對外提供服務,提高了容量。

3、 寫入資料的時候,由於是多塊磁碟組合出來的邏輯盤,所以幾塊磁碟可以並行寫入的,提升了讀寫效率。

4、 很多時候塊儲存採用SAN架構組網,傳輸速率以及封裝協議的原因,使得傳輸速度與讀寫速率得到提升。

缺點:

1、採用SAN架構組網時,需要額外為主機購買光纖通道卡,還要買光纖交換機,造價成本高。

2、主機之間的資料無法共享,在伺服器不做叢集的情況下,塊儲存裸盤對映給主機,再格式化使用後,對於主機來說相當於本地盤,那麼主機A的本地盤根本不能給主機B去使用,無法共享資料。

3、不利於不同作業系統主機間的資料共享:另外一個原因是因為作業系統使用不同的檔案系統,格式化完之後,不同檔案系統間的資料是共享不了的。例如一臺裝了WIN7/XP,檔案系統是FAT32/NTFS,而Linux是EXT4,EXT4是無法識別NTFS的檔案系統的。就像一隻NTFS格式的U盤,插進Linux的筆記本,根本無法識別出來。所以不利於檔案共享。

兩種基於塊儲存型別的儲存方式:

        1) DAS(Direct Attach 

STorage):是直接連線於主機伺服器的一種儲存方式,每一臺主機伺服器有獨立的儲存裝置,每臺主機伺服器的儲存裝置無法互通,需要跨主機存取資料時,必須經過相對複雜的設定,若主機伺服器分屬不同的作業系統,要存取彼此的資料,更是複雜,有些系統甚至不能存取。通常用在單一網路環境下且資料交換量不大,效能要求不高的環境下,可以說是一種應用較為早的技術實現。

        2)SAN(Storage Area Network):是一種用高速(光纖)網路聯接專業主機伺服器的一種儲存方式,此係統會位於主機群的後端,它使用高速I/O 聯結方式, 如 SCSI, ESCON 及 Fibre- Channels。一般而言,SAN應用在對網路速度要求高、對資料的可靠性和安全性要求高、對資料共享的效能要求高的應用環境中,特點是代價高,效能好。例如電信、銀行的大資料量關鍵應用。它採用SCSI 塊I/O的命令集,通過在磁碟或FC(Fiber Channel)級的資料訪問提供高效能的隨機I/O和資料吞吐率,它具有高頻寬、低延遲的優勢,在高效能運算中佔有一席之地,但是由於SAN系統的價格較高,且可擴充套件性較差,已不能滿足成千上萬個CPU規模的系統。

2、檔案儲存

典型裝置:FTP、NFS伺服器

為了克服上述檔案無法共享的問題,所以有了檔案儲存。

檔案儲存也有軟硬一體化的裝置,但是其實普通拿一臺伺服器/筆記本,只要裝上合適的作業系統與軟體,就可以架設FTP與NFS服務了,架上該類服務之後的伺服器,就是檔案儲存的一種了。

主機A可以直接對檔案儲存進行檔案的上傳下載,與塊儲存不同,主機A是不需要再對檔案儲存進行格式化的,因為檔案管理功能已經由檔案儲存自己搞定了。

優點:

1、造價較低:隨便一臺機器就可以了,另外普通乙太網就可以,根本不需要專用的SAN網路,所以造價低。

2、方便檔案共享:例如主機A(WIN7,NTFS檔案系統),主機B(Linux,EXT4檔案系統),想互拷一部電影,本來不行。加了個主機C(NFS伺服器),然後可以先A拷到C,再C拷到B就OK了。(例子比較膚淺,請見諒……)

缺點:

讀寫速率低,傳輸速率慢:乙太網,上傳下載速度較慢,另外所有讀寫都要1臺伺服器裡面的硬碟來承擔,相比起磁碟陣列動不動就幾十上百塊硬碟同時讀寫,速率慢了許多。

物件儲存--NAS:

通常,NAS產品都是檔案級儲存。  NAS(Network Attached Storage):是一套網路儲存裝置,通常是直接連在網路上並提供資料存取服務,一套 NAS 儲存裝置就如同一個提供資料檔案服務的系統,特點是價效比高。例如教育、政府、企業等資料儲存應用。

        它採用NFS或CIFS命令集訪問資料,以檔案為傳輸協議,通過TCP/IP實現網路化儲存,可擴充套件性好、價格便宜、使用者易管理,如目前在叢集計算中應用較多的NFS檔案系統,但由於NAS的協議開銷高、頻寬低、延遲大,不利於在高效能叢集中應用。

     下面,我們對DAS、NAS、SAN三種技術進行比較和分析:

3、物件儲存

典型裝置:內建大容量硬碟的分散式伺服器

物件儲存最常用的方案,就是多臺伺服器內建大容量硬碟,再裝上物件儲存軟體,然後再額外搞幾臺服務作為管理節點,安裝上物件儲存管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。

之所以出現了物件儲存這種東西,是為了克服塊儲存與檔案儲存各自的缺點,發揚它倆各自的優點。簡單來說塊儲存讀寫快,不利於共享,檔案儲存讀寫慢,利於共享。能否弄一個讀寫快,利 於共享的出來呢。於是就有了物件儲存。

首先,一個檔案包含了了屬性(術語叫metadata,元資料,例如該檔案的大小、修改時間、儲存路徑等)以及內容(以下簡稱資料)。

以往像FAT32這種檔案系統,是直接將一份檔案的資料與metadata一起儲存的,儲存過程先將檔案按照檔案系統的最小塊大小來打散(如4M的檔案,假設檔案系統要求一個塊4K,那麼就將檔案打散成為1000個小塊),再寫進硬盤裡面,過程中沒有區分資料/metadata的。而每個塊最後會告知你下一個要讀取的塊的地址,然後一直這樣順序地按圖索驥,最後完成整份檔案的所有塊的讀取。

這種情況下讀寫速率很慢,因為就算你有100個機械手臂在讀寫,但是由於你只有讀取到第一個塊,才能知道下一個塊在哪裡,其實相當於只能有1個機械手臂在實際工作。

而物件儲存則將元資料獨立了出來,控制節點叫元資料伺服器(伺服器+物件儲存管理軟體),裡面主要負責儲存物件的屬性(主要是物件的資料被打散存放到了那幾臺分散式伺服器中的資訊),而其他負責儲存資料的分散式伺服器叫做OSD,主要負責儲存檔案的資料部分。當用戶訪問物件,會先訪問元資料伺服器,元資料伺服器只負責反饋物件儲存在哪些OSD,假設反饋檔案A儲存在B、C、D三臺OSD,那麼使用者就會再次直接訪問3臺OSD伺服器去讀取資料。

這時候由於是3臺OSD同時對外傳輸資料,所以傳輸的速度就加快了。當OSD伺服器數量越多,這種讀寫速度的提升就越大,通過此種方式,實現了讀寫快的目的。

另一方面,物件儲存軟體是有專門的檔案系統的,所以OSD對外又相當於檔案伺服器,那麼就不存在檔案共享方面的困難了,也解決了檔案共享方面的問題。

所以物件儲存的出現,很好地結合了塊儲存與檔案儲存的優點。

最後為什麼物件儲存兼具塊儲存與檔案儲存的好處,還要使用塊儲存或檔案儲存呢?

1、有一類應用是需要儲存直接裸盤對映的,例如資料庫。因為資料庫需要儲存裸盤對映給自己後,再根據自己的資料庫檔案系統來對裸盤進行格式化的,所以是不能夠採用其他已經被格式化為某種檔案系統的儲存的。此類應用更適合使用塊儲存。

2、物件儲存的成本比起普通的檔案儲存還是較高,需要購買專門的物件儲存軟體以及大容量硬碟。如果對資料量要求不是海量,只是為了做檔案共享的時候,直接用檔案儲存的形式好了,價效比高。