pro 一致性哈希 普通 .html 價格 str oca 計劃 硬件

需要學習的技術很多，要自學新知識也不是一件容易的事，選擇一個自己比較感興趣的會是一個比較好的開端，於是，打算學一學分布式系統。

　　帶著問題，有目的的學習，先了解整體架構，在深入感興趣的細節，這是我的計劃。

　　首先得有問題，如果每日重復相同的工作，也不主動去學習，很難發現新的問題。不怕自己無知，就怕不知道自己無知，只有不斷的學習，才會發現更多未知的知識領域！

帶著問題出發

回到頂部

　　分布式要解決什麽問題呢？解決持久化數據太大，單個節點的硬盤無法存儲的問題；解決運算量太大，單個節點的內存、CPU無法處理的問題。解決這些問題，有兩種思路：scale up，scale out。前者就是提升單個節點的能力，更大的磁盤，更快的CPU，定制的軟硬件，然而這意味著更高的價格，而且再怎麽scaleup 也是有上限的。後者就是把存儲、計算任務分擔到普通的機器上，通過動態增加節點來應對數據量的增長，但缺點是多個節點的管理、任務的調度比較麻煩，這也是分布式系統研究和解決的問題。只有當數據量達到單機無法存儲、處理的情況下才考慮分布式，不然都是自找麻煩。

　　狀態的維護比計算要難很多，所謂狀態就是需要持久化的數據。因此主要考慮分布式存儲，況且即使是分布式計算，為了節省帶寬需要盡量保證data locality，也是需要分布式存儲。 　　現在有一堆數據，可能是結構化或者半結構化，需要將數據分片（segment、fragment、shard），形成一個個的數據子集，存儲到一組物理節點上，物理節點之間通過網絡通信。那麽需要考慮兩個問題： 　　第一：數據如何劃分; 　　第二：數據的可靠性、可用性問題

數據分片

　　數據分片是指將數據子集盡可能均衡的劃分到各個物理節點上。那麽會有哪些挑戰呢？

　　（1）如果某個物理節點宕機，如何將該物理節點負責的數據盡快的轉移到其他物理節點；

　　（2）如果新增了物理節點，怎麽從其他節點遷移數據到新節點；

　　（3）對於可修改的數據（即不是只能追加的數據），比如數據庫數據，如果某節點數據量變大，怎麽將部分數據遷移到其他負載較小的節點，及達到動態均衡的效果。

　　（4）元數據的管理問題：當數據分布在各個節點，那麽當用戶使用的時候需要知道具體的數據在哪一個節點上。因此，系統需要維護數據的元數據：即每一個數據所在的位置、狀態等信息。當用戶需要具體的數據時，先查詢元數據，然後再去具體的節點上查詢。當數據在節點之間遷移的時候，也需要更新元數據。元數據的管理節點這裏稱之為meta server。元數據的管理也帶來了新的挑戰： 　　　　（4.1）如何抽取數據的特征（特征是分片的依據，也是用戶查詢數據時的key），或者支持用戶自定義數據特征；

　　　　（4.2）如何保證meta server的高性能和高可用，是單點還是復制集

　　（5）分片的粒度，即數據子集的大小，也是數據遷移的基本單位。粒度過粗，不利於數據均衡；粒度過細，管理、遷移成本又會比較大。

數據冗余

　　前面提到，分布式系統中的節點都是普通的節點，因此有一定的概率會出現物理故障，比如斷電、網絡不可用，這些故障導致數據的暫時不可用；另外一些故障更嚴重，會導致數據的丟失，比如磁盤損壞。即使單個節點的故障是小概率，當集群中的節點數目很多是，故障就成為了一個大概率事件。因此，保證數據的高可用和可靠性是分布式系統必須解決的問題。

　　為了避免單點故障，可行的辦法就是數據冗余（復制集），即將同一份數據放在不同的物理節點，甚至是不同的數據中心。如果數據是一次寫，多次讀那很好辦，隨便從哪個副本讀取都行。但對於很多分布式存儲系統，比如數據庫，數據是持續變化的，有讀有寫。那麽復制集會帶來什麽樣的挑戰呢，需要如何權衡呢，假設有三個副本：

　　（1）三個副本的地位，大家都是平等的還是有主（primary、master）有次（secondary、slave），如果是平等的，那麽每個節點都可以接收寫操作；如果不平等，可以一個節點負責所有的寫操作，所有節點都提供讀操作，

　　（2）在平等的情況下，怎麽保證寫入操作不沖突，保證各個節點的數據是一致的，怎麽保證能讀取到最新的數據

　　（3）不平等的情況下 　　　　（3.1）寫節點怎麽將變更的數據同步到其他節點，同步還是異步； 　　　　（3.2）非寫節點能否提供讀數據，如果能夠允許，會不會讀取到過時的數據。 　　　　（3.3）主節點是怎麽產生的，當主節點宕機的時候，怎麽選擇出新的主節點。是有統一的復制集管理中心（記錄誰主誰次，各自的狀態），還是復制集自己選舉出一個主節點？

　　（4）不管復制集內部的節點是平等的，還是有集中式節點的，只要有多個數據副本，就需要考慮數據的一致性可用性問題。按照CAP理論，只能同時滿足一致性 可用性 分區容錯性之間的二者，不同的分布式系統需要權衡。

其他

　　分布式系統有自己的術語或者概念。在當前的這個時間點，我對其中的一些有了解，或者使用過；另外一些只是聽說過，不甚了解；當然，還有更多的是不知道的，是需要在後續的學習中去發現、去掌握的。

　　分片 副本 一致性哈希 冪等 CAP paxos raft NWR lease 兩階段提交協議 三階段提交協議 拜占庭問題

　　目前收集到的學習資料如下：

　　劉傑的《分布式系統原理介紹》

　　Distributed systems for fun and profit

　　CMU課程：http://www.cs.cmu.edu/~dga/15-440/S14/syllabus.html

　　MIT課程：http://nil.csail.mit.edu/6.824/2016/schedule.html

　　前面兩個是基礎整體介紹，最後一個是MIT的課程，網上評價很高，也有很多人在學習。

總結：

回到頂部

　　對於一門新技術，不要上來就開幹，思考新技術解決了什麽問題、已有的技術能否替代、適用場景與缺陷。對於自己（程序員），想想為什麽要學、是深度還是廣度知識、該技術在自己的技能樹中的位置。

　　對於學習，需要長期目標與短期目標相結合。長期目標很重要，但需要分解成一個個小目標，否則很容易在停頓、重拾之間打轉，也很容易分心到其他雜事，也就堅持不下去了。 　　本文地址：http://www.cnblogs.com/xybaby/p/6930977.html

解決持久化數據太大，單個節點的硬盤無法存儲的問題；解決運算量太大，單個節點的內存、CPU無法處理的問題