1. 程式人生 > >Hadoop-2.7.7 給HDFS的datanode增加新磁碟的注意事項【踩坑記錄】

Hadoop-2.7.7 給HDFS的datanode增加新磁碟的注意事項【踩坑記錄】

附上Hadoop-2.7.7叢集設定官網文件:

http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/ClusterSetup.html

Hadoop-2.7.7 hdfs-site.xml完整版配置模板:

http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

hdfs-site.xml檔案配置項說明:

dfs.datanode.data.dir 逗號分隔的DataNode本地檔案系統上的路徑列表,它應該儲存其塊。如果只有一塊磁碟,直接寫就可以了
如果是逗號分隔的目錄列表,則資料將儲存在所有命名目錄中,通常位於不同磁碟上。

 示例:

<!-- hadoop的dfs.datanode.data.dir是設定datanode節點儲存資料塊檔案的本地路徑,通常可以設定多個,用逗號隔開 -->
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>這裡寫你的Hostname:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/extdisk/soft/hadoop-2.7.7/data/tmp</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/name</value>
    </property>
    <!-- 注意這裡的逗號分隔 -->
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/data,/data1/dfs/datanodedir</value>
    </property>
    <!-- 平衡策略,推薦使用 -->
    <property>
         <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
         <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>
</configuration>

附效果圖:

注意來自有些部落格的安裝文件中,會把這些配置項寫到 core-site.xml中 而不是 hdfs-site.xml中。

如此一來,不管你怎麼配置都不生效! 

切記這個配置是在hdfs-site.xml 中! 

配置成功後重啟data-node即可

配置成功後,開啟50070埠管理介面: http://你的IP地址:50070/dfshealth.html#tab-overview

 

檢視一下Datanodes

相關推薦

Hadoop-2.7.7 HDFS的datanode增加磁碟注意事項記錄

附上Hadoop-2.7.7叢集設定官網文件: http://hadoop.apache.org/docs/r2.7.7/had

echarts記錄2.複選框+動態隱藏、顯示資料

第一節的例子裡我將ajax請求返回的所有資料都載入成了餅狀圖,但是實際應用中我們可能並不需要全部顯示,可能需要做一個多選框選擇需要的name再傳給後臺……然而我也不想修改sql。 於是就考慮在前端控制啦,後端只需要無腦一次查出全部的資料,讓前端折騰吧~使用者點哪裡我就顯示哪

oracle 增加的欄位(alter)

alter table 表名 add 列名 資料型別; alter table bl_yhsz add (zcmc varchar2(60) ); 新增的新欄位為非空: alter table bl_yhsz add (zcmc varchar2(60)is null);

368元7模12頻_4G DTU_工業級4G DTU_全網通DTU

最近發現一款市面上比較便宜 而且價效比比較高的4G DTU,是“眾山科技的”,這款DTU與他們原來的那款要便宜100多元,硬體上還是採用中興的7模12頻通訊晶片。 那麼相對他們以前500多的4G DTU而言,這款為什麼便宜這麼多呢?因為在功能上面有所減少。 功能減少:

利用hadoop-2.5.0-cdh5.3.6版本,搭建完全分散式HA詳細記錄(怕忘)

我就按照自己的思路寫,可能步驟不一定正確1、在搭建完全 分散式叢集時,首先要保證我們的三臺機子的時間同步,所以我們需要同步一臺時間伺服器,我的三臺虛擬機器分別為如下hostname-->make.hadoop.com        第一臺-->make.hadoo

磁碟管理--如何在VMware上centos7增加一塊磁碟

一、 實驗環境 VMware Workstaion + Centos7 二、實驗步驟 1、關閉虛擬機器,新增磁碟 2、新增硬體嚮導 硬體型別 你要安裝哪類硬體? 點選完成觀察到已經成功新增磁碟

java學習記錄7.定義一個介面ArearInterface,其中包含一個方法,計算面積三角形、矩形、圓形的面積

* 定義一個介面ArearInterface,其中包含一個方法,計算面積 * 定義三個類:三角形、矩形、圓形,分別實現ArearInterface中的方法 * 定義一個主類,將三角形和圓形的面積顯示在螢幕上ArearInterface 介面public interface A

CentOS 7 安裝 Mysql + 記錄

安裝Mysql: 0、下載:(我的系統是 CentOS 64位,選擇下載64位Mysql5.6) wget https://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.42-linux-glibc2.12-x86_64.

mysql 5.7.20 解壓版安裝記錄

最近換了電腦,重灌mysql最新版本5.7.20,沒想到從5.7開始,mysql的配置方法就有改變,花了一上午的時間終於把坑跳了一遍,爬上來了。 首先還是原來的操作: 1. 下載壓縮包.zip,解壓到指定路徑,我這裡是 C:\Program Files\mysql-5.7

windows 安裝 5.7.23 MySQL Community Server的正確步驟,避免

1、從官網上下載,解壓 2、在根目錄下建立my.ini 檔案   相關屬性可自行配置 [mysql] # 設定mysql客戶端預設字符集 default-character-set=utf8  [mysqld] #設定3306埠 port = 3306  # 設定mysq

Mysql高手系列 - 第7篇:玩轉select條件查詢,避免

這是Mysql系列第7篇。 環境:mysql5.7.25,cmd命令中進行演示。 電商中:我們想檢視某個使用者所有的訂單,或者想檢視某個使用者在某個時間段內所有的訂單,此時我們需要對訂單表資料進行篩選,按照使用者、時間進行過濾,得到我們期望的結果。 此時我們需要使用條件查詢來對指定表進行操作,我們需要了解sq

後臺獲取radio的值,頁面添加默認值 js, query

添加 urn obj jquer classname pro document jquery -c <label>登記類型:</label> <div class="kk-complai

小卒CUDA安裝最新CUDA9.2+VS2015+WINDOW7的配置詳細關鍵點記錄

  小卒第三次配置CUDA了,才發現自己這次配置學會了很多,為了記錄自己的成長,也為了和大家分享CUDA的配置方法,下面我講把整個配置過程自己覺得重要的地方記錄下來。 一、什麼是CUDA            

微信小程式新手記錄(2)

此文用來記錄一個程式渣學習小程式的踩坑路程。 話不多說,開始記錄! ---------------------------------------------------------分割線----------------------------------------

Python 學習記錄 2.試試python編輯器,匯入py檔案

這節中,我突然發現Python其實是自帶編輯器的,所以為什麼我還去下了notepad++啊…… 1.Python編輯器 由於不滿足於每次開啟Python都要重新寫一遍所有程式碼,我決定將所有程式碼儲存下來,把一些可以重複利用的部分寫成函式的形式,儲存成.py檔

新手須知Spring Boot 2.0.0 + MyBatis + Shiro + Swagger 開發專案記錄

寫在前面 Swagger 2.8.0 Spring Boot 2.0.0.RELEASE Shiro 1.4.0 Mybatis 1.3.1 填坑 踩坑一: MyBatis xml檔案

UE4學習記錄UE4網路方面的探索0-2

在上一章中,我粗略的表達了在最開始的UI介面設定上的操作,沒有用到一絲程式碼,直接藍圖敲定去實現基本的東西。 接下來回到正題,我們需要實現UI所對應的具體功能了。 第一步:整理思路 首先確定UI 的按

公開aidl介面外部apk呼叫時注意事項

當我們寫的一個service通過aidl公開介面給外部第三方應用時,通常的做法是會將aidl以及對應java檔案打成jar包,以供第三方的app使用。這樣做沒有任何問題,但要注意的是在後續升級這個介面的時候,得保持介面中方法順序不變,即只能在aidl的後面新增新方法,而不能

java學習記錄2.定義一個計算矩形面積、立方體和球體體積的類,該類完成計算的方法用靜態方法實現

area_volume類(計算矩形面積和立方體體積)public class area_volume {double length,width,heigth;//長:length,寬:width,高:heigtharea_volume(double length,double

將一個類例項中所有屬性值賦另一個同類型的物件泛型+Linq

public static class ClassCopy { static ConcurrentDictionary<string, object> actions = new ConcurrentDictionary<string, object>(