Hadoop-2.7.7 給HDFS的datanode增加新磁碟的注意事項【踩坑記錄】
附上Hadoop-2.7.7叢集設定官網文件:
http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/ClusterSetup.html
Hadoop-2.7.7 hdfs-site.xml完整版配置模板:
http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
hdfs-site.xml檔案配置項說明:
dfs.datanode.data.dir | 逗號分隔的DataNode本地檔案系統上的路徑列表,它應該儲存其塊。如果只有一塊磁碟,直接寫就可以了 |
如果是逗號分隔的目錄列表,則資料將儲存在所有命名目錄中,通常位於不同磁碟上。 |
示例:
<!-- hadoop的dfs.datanode.data.dir是設定datanode節點儲存資料塊檔案的本地路徑,通常可以設定多個,用逗號隔開 --> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>這裡寫你的Hostname:50090</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/extdisk/soft/hadoop-2.7.7/data/tmp</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/name</value> </property> <!-- 注意這裡的逗號分隔 --> <property> <name>dfs.datanode.data.dir</name> <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/data,/data1/dfs/datanodedir</value> </property> <!-- 平衡策略,推薦使用 --> <property> <name>dfs.datanode.fsdataset.volume.choosing.policy</name> <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value> </property> </configuration>
附效果圖:
注意來自有些部落格的安裝文件中,會把這些配置項寫到 core-site.xml中 而不是 hdfs-site.xml中。
如此一來,不管你怎麼配置都不生效!
切記這個配置是在hdfs-site.xml 中!
配置成功後重啟data-node即可
配置成功後,開啟50070埠管理介面: http://你的IP地址:50070/dfshealth.html#tab-overview
檢視一下Datanodes
相關推薦
Hadoop-2.7.7 給HDFS的datanode增加新磁碟的注意事項【踩坑記錄】
附上Hadoop-2.7.7叢集設定官網文件: http://hadoop.apache.org/docs/r2.7.7/had
【echarts踩坑記錄】2.複選框+動態隱藏、顯示資料
第一節的例子裡我將ajax請求返回的所有資料都載入成了餅狀圖,但是實際應用中我們可能並不需要全部顯示,可能需要做一個多選框選擇需要的name再傳給後臺……然而我也不想修改sql。 於是就考慮在前端控制啦,後端只需要無腦一次查出全部的資料,讓前端折騰吧~使用者點哪裡我就顯示哪
oracle 給表增加新的欄位(alter)
alter table 表名 add 列名 資料型別; alter table bl_yhsz add (zcmc varchar2(60) ); 新增的新欄位為非空: alter table bl_yhsz add (zcmc varchar2(60)is null);
368元7模12頻_4G DTU_工業級4G DTU_【全網通DTU】
最近發現一款市面上比較便宜 而且價效比比較高的4G DTU,是“眾山科技的”,這款DTU與他們原來的那款要便宜100多元,硬體上還是採用中興的7模12頻通訊晶片。 那麼相對他們以前500多的4G DTU而言,這款為什麼便宜這麼多呢?因為在功能上面有所減少。 功能減少:
利用hadoop-2.5.0-cdh5.3.6版本,搭建完全分散式HA詳細記錄(怕忘)
我就按照自己的思路寫,可能步驟不一定正確1、在搭建完全 分散式叢集時,首先要保證我們的三臺機子的時間同步,所以我們需要同步一臺時間伺服器,我的三臺虛擬機器分別為如下hostname-->make.hadoop.com 第一臺-->make.hadoo
磁碟管理--如何在VMware上給centos7增加一塊磁碟
一、 實驗環境 VMware Workstaion + Centos7 二、實驗步驟 1、關閉虛擬機器,新增磁碟 2、新增硬體嚮導 硬體型別 你要安裝哪類硬體? 點選完成觀察到已經成功新增磁碟
【java學習記錄】7.定義一個介面ArearInterface,其中包含一個方法,計算面積三角形、矩形、圓形的面積
* 定義一個介面ArearInterface,其中包含一個方法,計算面積 * 定義三個類:三角形、矩形、圓形,分別實現ArearInterface中的方法 * 定義一個主類,將三角形和圓形的面積顯示在螢幕上ArearInterface 介面public interface A
CentOS 7 安裝 Mysql + 踩坑記錄
安裝Mysql: 0、下載:(我的系統是 CentOS 64位,選擇下載64位Mysql5.6) wget https://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.42-linux-glibc2.12-x86_64.
mysql 5.7.20 解壓版安裝踩坑記錄
最近換了電腦,重灌mysql最新版本5.7.20,沒想到從5.7開始,mysql的配置方法就有改變,花了一上午的時間終於把坑跳了一遍,爬上來了。 首先還是原來的操作: 1. 下載壓縮包.zip,解壓到指定路徑,我這裡是 C:\Program Files\mysql-5.7
windows 安裝 5.7.23 MySQL Community Server的正確步驟,避免踩坑
1、從官網上下載,解壓 2、在根目錄下建立my.ini 檔案 相關屬性可自行配置 [mysql] # 設定mysql客戶端預設字符集 default-character-set=utf8 [mysqld] #設定3306埠 port = 3306 # 設定mysq
Mysql高手系列 - 第7篇:玩轉select條件查詢,避免踩坑
這是Mysql系列第7篇。 環境:mysql5.7.25,cmd命令中進行演示。 電商中:我們想檢視某個使用者所有的訂單,或者想檢視某個使用者在某個時間段內所有的訂單,此時我們需要對訂單表資料進行篩選,按照使用者、時間進行過濾,得到我們期望的結果。 此時我們需要使用條件查詢來對指定表進行操作,我們需要了解sq
後臺獲取radio的值,給頁面添加默認值 【js, query】
添加 urn obj jquer classname pro document jquery -c <label>登記類型:</label> <div class="kk-complai
【小卒CUDA安裝】最新CUDA9.2+VS2015+WINDOW7的配置【詳細關鍵點記錄】
小卒第三次配置CUDA了,才發現自己這次配置學會了很多,為了記錄自己的成長,也為了和大家分享CUDA的配置方法,下面我講把整個配置過程自己覺得重要的地方記錄下來。 一、什麼是CUDA
微信小程式新手踩坑記錄(2)
此文用來記錄一個程式渣學習小程式的踩坑路程。 話不多說,開始記錄! ---------------------------------------------------------分割線----------------------------------------
【Python 學習記錄】 2.試試python編輯器,匯入py檔案
這節中,我突然發現Python其實是自帶編輯器的,所以為什麼我還去下了notepad++啊…… 1.Python編輯器 由於不滿足於每次開啟Python都要重新寫一遍所有程式碼,我決定將所有程式碼儲存下來,把一些可以重複利用的部分寫成函式的形式,儲存成.py檔
【新手須知】Spring Boot 2.0.0 + MyBatis + Shiro + Swagger 開發專案踩坑記錄
寫在前面 Swagger 2.8.0 Spring Boot 2.0.0.RELEASE Shiro 1.4.0 Mybatis 1.3.1 填坑 踩坑一: MyBatis xml檔案
【UE4學習記錄】UE4網路方面的探索0-2
在上一章中,我粗略的表達了在最開始的UI介面設定上的操作,沒有用到一絲程式碼,直接藍圖敲定去實現基本的東西。 接下來回到正題,我們需要實現UI所對應的具體功能了。 第一步:整理思路 首先確定UI 的按
公開aidl介面給外部apk呼叫時注意事項
當我們寫的一個service通過aidl公開介面給外部第三方應用時,通常的做法是會將aidl以及對應java檔案打成jar包,以供第三方的app使用。這樣做沒有任何問題,但要注意的是在後續升級這個介面的時候,得保持介面中方法順序不變,即只能在aidl的後面新增新方法,而不能
【java學習記錄】2.定義一個計算矩形面積、立方體和球體體積的類,該類完成計算的方法用靜態方法實現
area_volume類(計算矩形面積和立方體體積)public class area_volume {double length,width,heigth;//長:length,寬:width,高:heigtharea_volume(double length,double
將一個類例項中所有屬性值賦給另一個同類型的物件【泛型+Linq】
public static class ClassCopy { static ConcurrentDictionary<string, object> actions = new ConcurrentDictionary<string, object>(