1. 程式人生 > >大資料hadoop叢集搭建之後的操作

大資料hadoop叢集搭建之後的操作

1.節點的服役和退役(hdfs)

[退役]     1.新增退役節點的ip到黑名單,不要更新白名單.         [/soft/hadoop/etc/dfs.hosts.exclude.txt]         s205

    2.配置hdfs-site.xml         <property>             <name>dfs.hosts.exclude</name>             <value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>         </property>

    3.重新整理nn節點         $>hdfs dfsadmin -refreshNodes

4.檢視webui,節點狀態在decommisstion in progress.

    5.當所有的要退役的節點都報告為Decommissioned,資料轉移工作已經完成。

    6.從白名單刪除節點,並重新整理節點         [s201:/soft/hadoop/etc/dfs.include.txt]         ...

        $>hdfs dfsadmin -refreshNodes

    7.從slaves檔案中刪除退役節點  

[新增新節點]     1.在dfs.include檔案中包含新節點名稱,該檔案在nn的本地目錄。         [白名單]         [s201:/soft/hadoop/etc/dfs.include.txt]         s202         s203         s204         s205     2.在hdfs-site.xml檔案中新增屬性.         <property>             <name>dfs.hosts</name>             <value>/soft/hadoop/etc/dfs.include.txt</value>         </property>

    3.在nn上重新整理節點         $>hdfs dfsadmin -refreshNodes