1. 程式人生 > >hadoop菜鳥的學習筆記---Hadoop體系結構

hadoop菜鳥的學習筆記---Hadoop體系結構

         語言是表達思想最有利的武器!

HDFS和MapReduce是Hadoop體系結構的核心,HDFS在叢集上實現了分散式檔案系統,MapReduce在叢集上實現了分散式計算和處理任務。HDFS在MapReduce任務處理過程中提供了對檔案操作和儲存的支援,MapReduce在HDFS基礎上實現了任務的分發、跟蹤、執行等工作,並收集結果。

HDFS採用了主從Master/Slave結構模型,HDFS叢集是由一個NameNode和若干個DataNode組成的,namenode作為主伺服器,管理檔案系統的名稱空間和客戶端對檔案的訪問操作;叢集中的DataNode管理儲存的資料,namenode也負責資料塊到具體的datanode的對映,datanode也負責處理檔案系統客戶端的檔案讀寫請求,並在namenode的統一排程下進行資料塊的建立、刪除和複製等工作。