糾刪碼技術的含義

（HDFS EC——Hadoop Erasure Coding）通過在原始資料中加入新的校驗資料，使得各個部分的資料產生關聯性。在一定範圍的資料出錯情況下，通過糾刪碼技術都可以進行恢復。

糾刪碼技術的原理

把一行資料塊組稱為條帶（strip），每行條帶由n個數據塊和m個校驗塊組成：

① 如果校驗資料塊發生錯誤，通過對原始資料塊進行編碼重新生成

② 如果原始資料塊發生錯誤，通過校驗資料塊的解碼可以重新生成

原理：將上面的圖片看成矩陣，由於矩陣的可逆性，就能進行資料恢復。

糾刪碼技術的作用

① 儲存空間的節省。

② 寬頻流量的節省。EC的使用，會使得寫入叢集的資料總量減少，進一步為叢集節省了寬頻的消耗。但在做資料恢復的時候會比較耗費寬頻，因為它會從其他多個節點中讀取資料進行恢復。

在Hadoop EC的設計文件中，提出了以下幾點實現目標：

1）儲存空間的節省

2）靈活的儲存策略，使用者同樣能夠標記檔案為HOT或COLD儲存型別

3）快速的恢復與轉換，同時在資料恢復的時候，需要儘可能減少網路頻寬的使用

4）IO頻寬的節省

5）NameNode低負載。EC技術在一定出程度上會增大NameNode的開銷。因為NameNode需要額外跟蹤校驗塊的資訊。在EC的實現過程中，需要儘可能降低NameNode的負載

6）對於使用者的透明性、相容性。EC在Hadoop中的實現細節，需要保證對使用者的絕對透明。而且使用者可以在EC策略下正常使用其他功能，例如HDFS快照、HDFS快取、加密空間等

另外，EC將改變原來Hadoop預設的三副本策略，而副本數的減少會對MR任務的資料本地性造成一定影響。

糾刪碼技術的實現

EC概念指的是資料塊（data block）、檢驗塊（parity block）、條帶（stripe）等概念。HDFS對這些概念的定義如下：

① 資料塊、檢驗塊在HDFS中的體現就是普通的資料塊

② 條帶的概念需要將每個塊進行分裂，每個塊由若干個相同大小的單元（cell）組成，每個條帶由一行單元構成，相當於從所有的資料塊和校驗塊中抽取出了一行

改進優化點：

① 目前資料沒有采用本地讀的方式，一律採用遠端方式進行資料讀取

② 目標資料的恢復傳輸並不返回資料包的確認碼，不像Pipeline那樣有很健全的一套體系

糾刪碼技術的優劣勢

優勢:

可以解決目前分散式系統、雲端計算中採用多副本機制來防止資料丟失的問題。

劣勢：

一旦資料需要恢復，會造成兩大資源的消耗——>

① 網路頻寬的消耗，因為資料恢復需要去讀取其他的資料塊和校驗塊

② 進行編碼、解碼計算時需要消耗CPU資源

概括來講，就是既消耗網路又耗CPU。因此，最好的選擇是用於冷資料的儲存，因為：

① 冷資料叢集往往有大量的長期沒有被訪問的資料，資料規模確實會比較大，採用EC技術，可以大大減少副本數

② 冷資料叢集基本穩定，耗資源量少，所以一旦進行資料恢復，也將不會對叢集造成大的影響