1. 程式人生 > >為hadoop叢集中單個datanode新增硬碟

為hadoop叢集中單個datanode新增硬碟

最近實驗室的小叢集當中的一個datanode硬碟容量快用完了,考慮著要加塊1T的新硬碟,但是卻被這麼一個小問題折騰了好一會才解決,特地在此記錄一下,希望為看到這篇文章的朋友們節約寶貴的時間。

Ubuntu環境下掛載新硬碟

這篇帖子已經寫得很詳細了,寫得很不錯,在Ubuntu環境下掛載新硬碟可以看這篇。

唯一有點區別的是“硬碟在系統啟動自動掛載”這一部分。我的配置為:

/dev/sdb  /home/hadoop/hdp-data/data1/hdfs  ext4  defaults  0   0

修改hdfs-site.xml檔案

  • 給被掛載的目錄賦予許可權
    sudo chown -R hadoop:hadoop /home/hadoop/hdp-data/data1/hdfs

  • 修改hdfs-site.xml

    <property>
    <name>dfs.datanode.data.dir</name>
    <value>
        file:/opt/hadoop-2.7.2/tmp/dfs/data,
        file:/home/hadoop/hdp-data/data1/hdfs
    </value>
    </property>

    注:用“,”將新舊目錄隔開
    如果你有HBase的話,也需要在 conf/hdfs-site.xml 中做相同更改

檢測

啟動dfs和yarn之後,執行如下命令:

  • ./bin/hdfs dfsadmin -report

檢視需要新增hdfs容量的節點,容量是否有增加。