1. 程式人生 > >關於雲端儲存系統的六大技術分析(關於儲存的一些好文轉載--2)

關於雲端儲存系統的六大技術分析(關於儲存的一些好文轉載--2)

隨著監控領域的飛速發展,新技術的誕生也是接踵而至,雲端儲存是人們最為樂道的高新技術產品。它具有如下幾大主要的技術。

雲端儲存系統具有如下特點:資料安全,超強的可擴充套件性,按照使用收費,可跨不同應用,自動切換故障,易於管理等。雲端儲存主要應用於備份、歸檔、分配和共享協作等四大領域。

雲端儲存是在雲端計算概念上延伸和發展出來的一個新概念,是指通過叢集應用、網格技術或分散式檔案系統等功能,將網路中大量各種不同型別的儲存裝置通過應用軟體集合起來協同工作,共同對外提供資料儲存和業務訪問功能的一個系統。當雲端計算系統運算和處理的核心是大量資料的儲存和管理時,雲端計算系統中就需要配置大量的儲存裝置,那麼雲端計算系統就轉變成為一個雲端儲存系統,所以雲端儲存是一個以資料儲存和管理為核心的雲端計算系統。

與雲端計算系統相比,雲端儲存可以認為是配置了大容量儲存空間的一個雲端計算系統。雲端儲存系統具有如下特點:資料安全,超強的可擴充套件性,按照使用收費,可跨不同應用,自動切換故障,易於管理等。雲端儲存主要應用於備份、歸檔、分配和共享協作等四大領域。

雲端儲存系統是一個多裝置、多應用、多服務協同工作的集合體,它的實現要以多種技術的發展為前提。根據雲端儲存的特點及其應用領域,主要的雲端儲存技術涉及到儲存虛擬化,分散式檔案系統,叢集儲存,儲存集中管理,異質平臺協同,自動分級儲存等方面,當然還有重複資料刪除、資料壓縮等技術。

儲存虛擬化

儲存虛擬化(StorageVirtualizaTIon)最通俗的理解就是對儲存硬體資源進行抽象化表現。通過將一個(或多個)目標服務或功能與其它附加的功能整合,統一提供有用的全面功能服務。典型的虛擬化包括如下一些情況:遮蔽系統的複雜性,增加或整合新的功能,模擬、整合或分解現有的服務功能等。虛擬化是作用在一個或者多個實體上的,而這些實體則是用來提供儲存資源或服務的。

儲存虛擬化是一種貫穿於整個IT環境、用於簡化本來可能會相對複雜的底層基礎架構的技術。儲存虛擬化的思想是將資源的邏輯映像與物理儲存分開,從而為系統和管理員提供一幅簡化、無縫的資源虛擬檢視。

對於使用者來說,虛擬化的儲存資源就像是一個巨大的“儲存池”,使用者不會看到具體的磁碟、磁帶,也不必關心自己的資料經過哪一條路徑通往哪一個具體的儲存裝置。

分散式檔案系統

Hadoop分散式檔案系統(HDFS)是一個設計為用在普通硬體裝置上的分散式檔案系統。它與現有的分散式檔案系統有很多近似的地方,但又和這些檔案系統有很明顯的不同。HDFS是高容錯的,設計為部署在廉價硬體上的。HDFS對應用程式的資料提供高吞吐量,而且適用於那些大資料集應用程式。HDFS開放了一些POSIX的必須介面,容許流式訪問檔案系統的資料。

HDFS是主/從結構的。一個叢集有一個名字結點,也就是主控制伺服器,負責管理檔案系統的名字空間並協調客戶對檔案的訪問。還有一堆資料結點,一般一個物理結點上部署一個,負責它們所在的物理結點上的儲存管理。HDFS開放檔案系統的名字空間以便讓使用者資料儲存在檔案中。內部,一個檔案被分割為一個或者多個數據塊,這些資料塊儲存在一組資料結點中。名字結點執行檔案系統的名字空間操作,比如開啟、關閉、重新命名檔案或目錄,還決定資料塊從資料結點的對映。資料結點負責提供客戶的讀寫請求。資料結點還依照名字結點的指令執行資料塊的建立、刪除和複製工作。

叢集儲存

叢集儲存是將多臺儲存裝置中的儲存空間聚合成一個能夠給應用伺服器提供統一訪問介面和管理介面的儲存池,應用可以通過該訪問介面透明地訪問和利用所有儲存裝置上的磁碟,可以充分發揮儲存裝置的效能和磁碟利用率。資料將會按照一定的規則從多臺儲存裝置上儲存和讀取,以獲得更高的併發訪問效能。

叢集儲存的優勢主要體現在提高並行或分割槽I/O的整體效能,特別是工作流、讀密集型以及大型檔案的訪問,通過採用更低成本的伺服器來降低整體成本。叢集儲存有兩種實現方式:一種是硬體基礎架構加上軟體;另一種是專用叢集儲存,是構建在NAS基礎架構之上的,但是通過作業系統實現叢集儲存。

儲存集中管理

雲端儲存管理平臺要求支援跨資料中心的部署和管理,並支援跨資料中心的使用者訪問排程、資料遷移、資料異地儲存備份等功能。

支援集中管理,雲端儲存管理平臺部署在雲端計算的中心機房,儲存節點可以部署在各地的機房中,管理平臺對各分點機房的儲存裝置可以統一管理排程。

通過雲端儲存管理平臺,使用者可以方便的瞭解雲端儲存系統的各個節點的服務情況,包括各節點的容量和效能(讀IOPS、寫IOPS、讀流量、寫流量)等資訊,讓使用者實時瞭解域內資源資訊,執行狀態,從而可以操控這些資源;同時及時瞭解資源的異常,有必要時可以採取適當的措施保證其正常執行。

異質平臺協同

當前各種儲存方案與技術十分繁雜而多樣,光從一家企業內部可能同時存在各種不同型別儲存裝置的狀況便知一二,更何況不同儲存裝置供貨商間的儲存環境一直存在相容性問題,所以喊了多年的儲存整合,仍舊難以如企業需求所願,這也是儲存虛擬化與雲端儲存推展上的最大阻力。

雖然儲存雲端在某方面很容易跨入(例如線上儲存與備份),但另一方面想要透過私有云儲存來達成全面性之儲存整合,似乎不是那麼容易的事情。對此,想要成功完成儲存虛擬化目標必須改善企業既有IT儲存環境,其改善重點不外共通分享的儲存架構、親和的使用環境、簡潔單一的操作介面,以及效能卓著的儲存方案等。其中,不論是單一操作介面或統一標準的API,更是解決不同儲存裝置間協同問題的關鍵之一。

CDMI是雲端儲存全新標準介面,由國際儲存網路產業協會SNIA制定。對於雲運算來說,CDMI提供了通用雲運算管理基礎架構,同時原本資訊管理的重點已逐漸從儲存管理轉移圍繞在資料管理上。CDMI標準則可以協助使用者將特殊詮釋資料(Metadata)標記在資料上,該詮釋資料會告訴端點儲存供應商,什麼樣的資料服務提供該資料(例如備份、歸檔、加密等)。透過CDMI標準介面的執行,使用者可在不同雲端供應商間任意移動資料,不再需要忍受不同介面中重新編碼的痛苦。

自動分級儲存

提高儲存管理效率已經成為許多企業首要解決問題,自動分級儲存成為最有效的基礎技術,它指的是在不同磁碟型別和RAID級別之間遷移資料塊的功能,這可滿足效能和空間使用之間的適當平衡,快速將資料放到合適的地方並避免所謂的熱點。

作為這項技術受到廣泛關注,在不同層級的儲存介質之間,比如FC磁碟和SATA磁碟之間,移動資料需要實現全自動化的遷移流程。

在分級資料儲存結構中,儲存裝置一般有磁帶庫、磁碟或磁碟陣列等,而磁碟又可以根據其效能分為FC磁碟、SCSI磁碟、SATA磁碟等多種,而快閃記憶體儲存介質(非易失隨機訪問儲存器(NVRAM))也因為較高的效能可以作為分級資料儲存結構中較高的一級。一般,磁碟或磁碟陣列等成本高、速度快的裝置,用來儲存經常訪問的重要資訊,而磁帶庫等成本較低的儲存資源用來存放訪問頻率較低的資訊

 

轉自:http://stor.51cto.com/art/201711/556826.htm