1. 程式人生 > >Hadoop-基本模組,執行模式,配置檔案,namenode,datanode,secondarynamenode作用

Hadoop-基本模組,執行模式,配置檔案,namenode,datanode,secondarynamenode作用

hadoop模組:
    Hadoop Common:支援其他Hadoop模組的常用實用程式。
    Hadoop分散式檔案系統(HDFS™):一種分散式檔案系統,可提供對應用程式資料的高吞吐量訪問。
    Hadoop YARN:作業排程和叢集資源管理的框架。
    Hadoop MapReduce:基於YARN的系統,用於並行處理大型資料集。(一種計算框架)
    Hadoop Ozone: Hadoop的物件儲存。(後來新增)
三種執行模式:
    本地(獨立)模式:
        Hadoop配置為以非分散式模式執行,作為單個Java程序。這對除錯很有用
    偽分散式模式:
        Hadoop還可以在偽分散式模式下在單節點上執行,其中每個Hadoop守護程式在單獨的Java程序中執行
        在一臺機器上執行hdfs檔案系統,執行mr程式,從hdfs上獲取資料,結果存放到hdfs上
    完全分散式模式
        執行在多臺機器上,同時只有一個hdfs系統
簡述從偽分到完全分散式的步驟
    克隆兩個節點,修改主機名,修改ip與主機對映,配置ssh無密登入,安裝jdk,安裝Hadoop,
    配置環境變數,修改hadoop配置檔案,格式化。

core-site.xml裡面有fs.defaultFS,hadoop.tmp.dir。hdfs-site.xml裡有dfs.replication(副本數)
mapred-site.xml裡有mapreduce.framework.name<!--指定mr任務在哪個上面執行(本地、經典和yarn)-->

namenode:維護名稱空間、儲存元資料和使用者對hdfs的操作、副本數等等
                管理檔案系統名稱空間的主伺服器和管理客戶端對檔案的訪問組成
                塊(block)到DataNode的對映
datanode:存放實際資料(塊)
                管理連線到它們執行的​​節點的儲存
                提供來自檔案系統客戶端的讀寫請求
                執行塊建立,刪除
secondarynamenode:輔助namenode進行工作(檢查點儲存)