1. 程式人生 > >關於分散式儲存,你需要知道的真相

關於分散式儲存,你需要知道的真相

640?wx_fmt=gif

很多人可能對分散式儲存耳熟能詳,但是,大多數人對其概念或者知識點卻瞭解得都過於分散,看了很多卻“只見樹木,不見森林”,學了很多往往只能“知其然,卻不能知其所以然”。因此,有必要對分散式儲存的概念、問題和矛盾進行一下分析和解讀。

640?wx_fmt=png

為什麼需要分散式儲存?

很多人可能從來沒有考慮過這個問題,為什麼需要分散式儲存?實際上,使用分散式儲存是“被迫”的,因為隨著網際網路的飛速發展、應用越來越豐富、使用者數量越來越多、資料也成幾何級增長,海量資料的儲存給本地儲存帶了巨大壓力,儲存系統已經不堪重負,處於崩潰的邊緣,因此,必須通過其他手段分散儲存系統壓力,分散式儲存和分散式檔案系統應運而生。

實際上,如果可能,應該是儘量不使用分散式的,因為這會增加系統的複雜度和管理難度,然而,雖然是這樣,但這些終歸是可以通過其他技術來解決,而如果不使用分散式,系統的可用性、穩定性都無法保證,更談不上系統的高效能了。因此,說分散式是被迫使用的,一點也不誇張。

不難發現,分散式的目的就在於追求高效能與高可用這兩個特性。分散式系統中遇到的各種理論、技術以及設計方案,其本質上就是為了解決這兩個關鍵性問題而已。在想清楚了這個觀點之後,那所謂的分散式也並沒有這麼高大上,深不可測。它無非是提出一些技術方法來解決遇到的一堆問題。

640?wx_fmt=png

如何保證分散式儲存的高效能與高可用

那麼問題來了,如何保證分散式儲存系統的高效能與高可用性呢?

大家可能想到的是,除了傳統架構裡面的備份、Hot Standby、雙活、多活這種架構之外,對於保證分散式儲存系統的高可靠和高可用,資料在系統中一般儲存多個副本。當某個儲存節點出故障時,系統能夠自動將服務切換到其他的副本,從而實現自動容錯。分散式儲存系統通過複製協議將資料同步到多個儲存節點,並確保多個副本之間的資料一致性。同一份資料有多個副本,僅有一個為主副本 Primary,其他的副本為備份副本 Backup,資料從主副本複製到備份副本,採用最終一致性來保證資料和事物的完整。

但這些措施可能只是治標不治本,只能滿足一般的要求和不時之需。

而實際上,高效能與高可用是矛盾的,比如要設計一個分散式儲存系統,出於對效能的考慮,記錄資料時先寫一個份資料到某個機器上並立即返回,然後非同步發起多個數據備份過程

(副本)。這種設計的效能最好,但存在“容錯性”的風險,即寫完資料後,目標機器立即發生故障,會導致資料丟失!如果同時寫多個副本,每個副本寫成功以後再返回,則又導致效能下降,因為這個過程取決於最慢的那臺機器的效能。這就是高效能與高可用之間的矛盾。

而要真正從根本上克服這些矛盾,解決分散式儲存的高效能和高可用問題,更有效的是對於分散式檔案系統和分散式儲存系統架構進行優化和改進,從而從源頭解決這些問題。

不過,要對分散式檔案系統和分散式儲存系統架構進行優化和改進,就必須對分散式檔案系統和分散式儲存有更深入的瞭解,可是很多人卻不知道該從哪裡學習這些知識。恰好,最近UCloud將在武漢舉辦UCan下午茶活動,邀請數位在分散式儲存和分散式檔案領域重量級的技術大咖重點講解分散式儲存和分散式檔案系統,幫您瞭解分散式儲存和分散式檔案系統的真相。對此感興趣的朋友們可千萬不要錯過啊!

640?wx_fmt=png

會議議程

時間        議程            演講

13:00-13:30

簽到

13:30-13:40

主持人開場

13:40-14:30

《UCloud 分散式檔案系統產品架構解析》 UCloud檔案儲存研發工程師 鄧瑾

14:30-15:20

《分散式儲存中的資料分佈演算法》 奧思資料創始人&CTO 李明宇

15:20-15:30

茶歇

15:30-16:00

《雲硬碟架構升級和效能提升詳解》 UCloud塊儲存研發工程師 葉恆

16:20-17:10

《基於CephFS的改進及優化》 深信服科技  儲存研發專家 盧波

17:10-17:30

互動交流 互動交流

時間:2018年11月10日 下午13:00

地點:武漢青年眾創空間光谷創業咖啡

地址:大智街辦事處解放大道1435號青少年宮體育館一樓(地鐵一號線、二號線,循禮門站

還猶豫什麼,趕緊點選閱讀原文參加吧!

640?wx_fmt=gif

640?wx_fmt=gif