一、什麼是傳統的訊息傳遞方法？

傳統的訊息傳遞方法有兩種：

  排隊：在佇列中，一組使用者可以從伺服器中讀取訊息，每條訊息都發送給其中一個人。

  釋出--訂閱：在這個模型中，訊息被廣播給所有的使用者。

二、請說明kafka相對傳統技術有什麼優勢？

Kafka與傳統的訊息傳遞技術相比優勢在於：

快速：單一的kafka代理可以處理成千上萬的客戶端，每秒處理數兆位元組的讀寫操作。

可伸縮：在一組機器上對資料進行分割槽和簡化，以支援更大的資料。

持久：訊息是永續性的，並在叢集中進行復制，以防止資料丟失。

設計：它提供了容錯保證和永續性。

三、HDFS是通過什麼機制保證資料可靠性的？

主要有以下6點：

1.安全模式：

HDFS剛啟動時，namenode進入安全模式，處於安全模式的namenode不能做任何的檔案操作，甚至內部的副本建立也是不允許的，namenode此時需要和各個datanode通訊，獲得datanode儲存的資料塊資訊，並對資料塊資訊進行檢查，只有通過了namenode的檢查，一個數據塊才被認為是安全的。當認為安全的資料塊所佔比例達到了某個閾值，namenode才會啟動。

2.SecondaryNamenode：

Hadoop中使用SecondaryNameNode來備份namenode的元資料，以便在namenode失效時能從SecondaryNameNode恢復出namenode上的元資料。SecondaryNameNode充當namenode的一個副本，它本身並不處理任何請求，因為處理這些請求都是NameNode的責任。

namenode中儲存了整個檔案系統的元資料，而SecondaryNameNode的作用就是週期性（週期長短也可配）儲存NameNode的元資料。這些源資料中包括檔案映象資料FSImage和編輯日誌EditLog。FSImage相當於HDFS的檢查點，namenode啟動時候會讀取FSImage的內容到記憶體，並將其與EditLog日誌中的所有修改資訊合併生成新的FSImage；在namenode

執行過程中，所有關於HDFS的修改都將寫入EditLog。這樣，如果namenode失效，可以通過SecondaryNameNode中儲存的FSImage和EditLog資料恢復出namenode最近的狀態，儘量減少損失。

3.心跳機制和副本重新建立

為了保證namenode和各個datanode的聯絡，HDFS採用了心跳機制。位於整個HDFS核心的namenode，通過週期性的活動來檢查datanode的活性，像跳動的心臟一樣。Namenode週期性向各個datanode傳送心跳包，而收到心跳包的datanode要進行回覆。因為心跳包是定時傳送的，所以namenode就把要執行的命令也通過心跳包傳送給datanode，而datanode收到心跳包，一方面回覆namenode，另一方面就開始了使用者或者應用的資料傳輸。

如果偵測到datanode失效，namenode之前儲存在這個datanode上的資料就變成不可用資料。如果有的副本儲存在失效的datanode上，則需要重新建立這個副本，放到另外可用的地方。

4.資料一致性：

  一般來講，datanode與應用互動的大部分情況都是通過網路進行的，而網路資料傳輸帶來的一大問題就是資料是否原樣到達。為了保證資料的一致性，HDFS採用了資料校驗和(checkSum)機制。建立檔案時，HDFS會為這個檔案生成一個校驗和，校驗和檔案和檔案本身儲存在同一空間中。傳輸資料時會將資料與校驗資料和一同傳輸，應用收到資料後可以進行校驗，如果兩個校驗的結果不同，則檔案肯定出錯了，這個資料塊就變成無效的。如果判定無效，則需要從其他datanode上讀取副本。

5.租約：

  在linux中，為了防止多個程序向同一個檔案寫資料的情況，採用了檔案加鎖的機制。而在HDFS中，同樣需要一個機制來防止同一個檔案被多個人寫入資料。這種機制就是租約(Lease)，每當寫入資料之前，一個客戶端必須獲得namenode發放的一個租約。Namenode保證同一個檔案只發放一個允許寫的租約。那麼就可以有效防止多人寫入的情況。

6.回滾：

  HDFS安裝或升級時，會將當前的版本資訊儲存起來，如果升級一段時間內執行正常，可以認為這次升級沒有問題，重新儲存版本資訊，否則，根據儲存的舊版本資訊，將HDFS恢復至之前的版本。

四、如何修改hadoop Block Size？

修改方法有兩種：

1.修改hdfs塊大小的方法的方法

在hdfs-site.xml檔案中修改配置塊大小的地方，dfs.block.size節點

重啟集群后，重新上傳檔案到hadoop叢集中，新增的檔案會按照新的塊大小儲存，舊的不會改變。

2.hadoop指定某個檔案的blocksize，而不改變整個叢集的blocksize

檔案上傳的時候，使用下面的命令即可：

hadoop fs -D fs.block.size=134217728 -put local_name remote_location