【大數據系列】HDFS文件權限和安全模式、安裝
阿新 • • 發佈：2017-07-15
重新啟動 inux 客戶 元數據 masters cnblogs 格式 新的 檢測
HDFS文件權限
1、與linux文件權限類型
r:read w:write x:execute權限x對於文件忽略，對於文件夾表示是否允許訪問其內容
2、如果linux系統用戶sanglp使用hadoop命令創建一個文件，那麽這個文件在HDFS中owner就是sanglp
3、HDFS的權限目的：阻止好人做錯事，而不是阻止壞人做壞事。
安全模式
1、 namenode啟動的時候，首先將映像文件（fsimage）載入內存，並執行編輯日誌（edits）中的各項操作。
2、 一旦在內存中成功建立文件系統元數據的映射，則創建一個新的fsimage文件（這個操作不需要SecondaryNameNode）和一個空的編輯日誌。
3、 此刻namenode運行在安全模式。即namenode的文件系統對於客戶端來說是只讀的（顯示目錄、顯示文件內容等。寫、刪除、重命名都會失敗）
4、 在此階段Namenode手機各個datanode的報告，當數據塊達到最小副本數以上時，會被認為是“安全”的，在一定比例（可設置）的數據塊被確定為“安全”後，再過若幹時間，安全模式結束
5、 當檢測到副本數不足的數據塊時，該塊會被復制直到最小副本數，系統中數據塊的位置並不是由namenode維護的，而是以塊列表示形式存儲在datanode中。
HDFS安裝
1、 偽分布式安裝
2、 完全分布式安裝
- 下載
- 解壓
- 檢查java和ssh的免密碼登陸
- 修改core-site.xml
- 修改hdfs-site.xml
- 修改master文件和slaves文件
- 格式化namenode
- start-hdfs.sh啟動
3、 按照文檔安裝
編輯core-site.xml (默認core-default.xml裏有使用到的變量 fs.default.name配置的是NameNode的主機和入口)
編輯hdfs-site.xml(副本數是小於或等於DataNode的節點數的 hdfs-default.xml)
編輯slaves(配置datanode的ip信息)
修改masters(配置secondary NameNode 配置主機名或ip )
配置免密登陸是為了在任何一臺機器上可以操作所有的節點
只啟動hdfs的時候使用start-dfs.sh
需要在hadoop/conf/Hadoop-env.sh中配置JAVA_HOME
如果namenode啟動的時候顯示別的dataNode已經啟動，但是別的主機上jps沒有啟動則關閉防火墻重新啟動。
之後訪問http://node1:50070查看詳情NameNode DataNode等信息
【大數據系列】HDFS文件權限和安全模式、安裝