1. 程式人生 > >轉載--儲存是怎樣煉成的

轉載--儲存是怎樣煉成的

原文章連結

什麼FAT,NTFS,NFS,DAS,SAN,NAS,OSD這些名詞我一個都不認識。

不知道各位大佬對上面的名詞瞭解多少,通過上面的一些名詞其實可以大致的看到儲存是怎樣一步步發展的。其中FAT,NTFS和NFS都是支援特定儲存協議的儲存系統,DAS,SAN,NAS,OSD是一種儲存模型。稍微科普一下:

FAT,NTFS大家肯定比較熟悉,這個就是單機檔案系統,類似的還有EXT4等等。windows系統就是NTFS,Linux是EXT4居多。

NFS(Network File System)即網路檔案系統,它允許網路中的計算機之間通過TCP/IP網路共享資源。使計算機可以像操作單機檔案系統一樣操作網路中的資源。

DAS(Direct-Attached Storage)直連式儲存,是一種常用的儲存模型。比如我們常用的行動硬碟,U盤就是直連式儲存。它有非常大的弊端,不易擴容,效能低,不可靠等。

SAN(Storage Area Network)儲存區域網路,它其實是建立專用於儲存的區域網路,以達到儲存和主機的物理分離。主要面向企業級儲存,從理論上講其易擴容可以支撐海量的資料儲存,但是需要建立專用的光纖網路,成本較高。

NAS(Network Attached Storage)網路附加儲存,可以簡單理解為便捷的區域網儲存裝置,在linux系統中可以通過NFS協議掛載NAS儲存。NAS相對於SAN擁有自己的作業系統,可以與各個系統更好的相容,且更加靈活。

OSD(Object-based Storage Device)物件儲存,物件儲存是一種新的網路儲存架構,它兼具SAN高速直接訪問磁碟和NAS分散式共享的特點,將資料儲存和元資料資訊分離,可以更加靈活的管理資料的儲存。

圖片描述

瞭解了上面那麼多的名詞,我們對於儲存的發展大概有了一個認識了。其實儲存的發展大概可以分為4個階段,分別是單機檔案系統,網路檔案系統,叢集檔案系統和分散式檔案系統。

單機檔案系統
以FAT,NTFS為代表,DAS其實也可以算作單機檔案系統,他們共同的特點就是檔案儲存在單臺伺服器上,依靠作業系統的檔案系統來實現檔案的儲存和管理。隨著資料量的增大以及對與資料安全性的需求越來越高,它們的缺點也日益顯露。

可擴充套件性:容量小,無法儲存大量資料,而且不能進行擴充套件。
效能:隨著檔案數量的增多,讀寫效能會下降
可靠性:沒有備份機制,一旦硬體出了故障會造成資料的丟失。
網路檔案系統
以NAS為代表,應用實現比如我們常用的網盤。它依託於網路提供了一定的便捷性,而且支援容量擴充套件,解決了單機檔案系統容量小的問題。但是對於效能和可靠性的問題並沒解決。

叢集檔案系統
以SAN為代表,實現比如RedHat的GFS(非Google的GFS),它是通過多個節點構成一個叢集,各個節點的資料是相同的,對其中一個節點的資料進行修改時,其會以廣播的形式通知其他各個節點。通過這一特性解決了單機檔案系統存在的各項缺點。支援多個節點的擴充套件,多臺節點共同提供服務提高效能,多個節點都進行資料儲存保障資料的可靠性。但是其同樣擁有很多缺點,叢集的節點不能太多,對某一資料進行修改需要修改整個叢集等等

分散式檔案系統
以HDFS,CEPH和OSD為代表,實現了支援大規模節點的叢集,並且提高了儲存效能和資料的可靠性。我們用過HDFS或者CEPH的都清楚,他們依託於廉價的儲存裝置,可以隨時增刪節點對整個叢集進行動態的擴容,高度可擴充套件。可以有效的避免單點故障,具有很高的容錯性,可以提高穩定可靠的服務。整個分散式系統具有較高的吞吐量,可以滿足大資料時代對於資料的儲存。

前面的文章初識大資料中我們提到了HDFS和CEPH,兩者都是當前使用較廣泛的分散式儲存服務,支援萬級叢集規模,應用感知進行負載均衡優化效能和效率。HDFS作為Hadoop的一大核心為分散式計算提供了有力的支援,但是由於其設計對於小檔案的支援並不好。CEPH實現了統一儲存,同時支援檔案,塊和物件儲存。兩者都支援資料的歸檔壓縮提高儲存空間利用率,並以糾刪碼技術為主,複製副本技術為輔提高資料的可靠性。

原文章連結