1. 程式人生 > >分布式存儲雜談之一:特點、難點和疑點

分布式存儲雜談之一:特點、難點和疑點

全面 配置 高端存儲 當前 之一 擴容 同時 直接 復制

當前分布式存儲很火,筆者也有機會投身到了這股洪流。下面就結合這段時間的工作,分專題簡要總結一下一些感想。

  • 分布式存儲的特點

    1. 擴展性好,支持橫向擴展,擴容、擴性能直接加機器就好;
    2. 無需特別硬件支持,區別於一些中高端存儲的專門的PCIE NTB、Fibre Channel 、SAS controller 、JBOD等設備,分布式存儲用通用服務器硬件就可以了;
    3. 靈活的多副本支持:副本數量,從2個到多個可以配置,只要大部分副本正常還可以自動恢復;
    4. 較高的可用性:由於支持跨節點、機架、機房、區域的副本放置策略,可用性比較高
  • 分布式存儲的要點:

    1. 可靠的副本一致性協議
      1.1 數據平面,保證多副本通過網絡及時復制、修補、重放,同時減小寫放大;
      1.2 控制平面,保證meta data管理、卷的創建、刪除、掛載、卸載等工作正常,支持主叢切換的及時性和正確性;
    2. 全面的負載均衡
      需要考慮多個方面
      2.1 空間負載均衡
      2.2 ioutil/吞吐的負載均衡
      2.3 副本的負載均衡
      3.高效的快照、克隆、回滾服務
      3.1 MVCM 和 COW
      3.2 快照、克隆、回滾時的讀寫防禦
      3.3 快照、克隆、回滾時的掛載卸載處理
      3.4 快照、克隆、回滾任務調度
  • 分布式存儲的難點
    1. 各種情況下的主從同步(HA);
    2. 全面高效的負載均衡;
    3. 在保證高可靠性的前提下炸出最後一滴性能;

分布式存儲雜談之一:特點、難點和疑點