2. 程式人生 > >Hadoop常用操作

Hadoop常用操作

阿新 • • 發佈：2018-11-09

Hadoop常用操作

1、Hadoop安裝

略

2、Hadoop配置

略

3、Hadoop多目錄配置

namenode和datanode節點下都可以進行多個目錄的配置，但是意義不同。namenode的多目錄配置是副本策略，保證資料可靠性，datanode多目錄配置是對容量進行擴容，由於datanode已經有副本機制了。

[hdfs-site.xml]

<!-- namenode多目錄配置 -->
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>
<!-- datanode多目錄配置 -->
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>

其中${hadoop.tmp.dir}是hadoop臨時目錄配置。

[core-site.xml]

<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/centos/hadoop/ha</value>
</property>

4、hadoop配額管理

配額是對空間和目錄個數進行限制，放置目錄下的檔案個數或大小過於龐大。因此配額分為空間配額和目錄配額。

  • 目錄配額

    限制目錄所含檔案或資料夾的個數。如果為1，則保持目錄為空（可以認為將目錄本身也包含在內）。

    #設定配額
$>hdfs dfsadmin -setQuota 1 data
#清除配額
$>hdfs dfsadmin -clsQuota data

    ​

  • 空間配額

    由於每份檔案都有三個副本，空間配額計算時也將副本數計算在內，加上每個資料塊檔案預設為128m，因此空間配額至少要指定384m的空間值。即128 * 3 = 384。

    #該設定會出錯，說至少是384m空間
$>hdfs dfsadmin -setSpaceQuota 384m data

5、快照

快照是對hdfs的目錄進行瞬間照相，內部採用差異化儲存機制。因此不會空間造成大量的消耗。這可以通過檢視blockid來考察。預設情況下目錄是不允許快照的，因此如果要使用該功能，還需要對特定目錄先啟用快照。

#啟用快照
$>hfds dfsadmin -allowSnapshot data
#禁用快照
$>hfds dfsadmin -disallowSnapshot data

#建立快照
$>hdfs dfs -createSnapshot data sp1
#刪除
$>hdfs dfs -deleteSnapshot data sp1
#重新命名
$>hdfs dfs -renameSnapshot data sp1 sp2

注意：刪除目錄時，如果是可快照目錄並且有快照，需要先刪除快照，再刪除目錄。

6、元資料管理

6.1 映象檔案檢視

映象檔案存放的是hdfs的元資料，是最重要的資料檔案。可以通過多種格式進行檢視。內容包括目錄、許可權、配額、資料塊等資訊。

#i:input o:output p:處理方式
$>hdfs oiv -i fsimage_0000000000000207400 -o ~/1.xml -p XML

6.2 編輯日誌檢視

對hdfs的每個寫操作都會記錄到編輯日誌中，檢視方式同映象類似。

$>hdfs oev -i edits_0000000000000200088-00000000000002000199 -o 2.xml -p XML

6.3 映象控制

2nn節點對nn節點會進行週期性檢查，以完成元資料的備份與融合。具體可以通過以下屬性進行控制：

  1. dfs.namenode.checkpoint.period

    檢查週期，多長時間生成一次新的檢查點，預設為3600秒，即1小時。

  2. dfs.namenode.checkpoint.txns

    操作記錄數控制，預設1000,000，發生這些次操作也會生成新的檢查點，即時時間不到1小時。

  3. dfs.namenode.checkpoint.check.period

    <property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
  <description>The SecondaryNameNode and CheckpointNode will poll the NameNode
    every 'dfs.namenode.checkpoint.check.period' seconds to query the number
    of uncheckpointed transactions.
  </description>
</property>

    ​

  4. dfs.namenode.num.checkpoints.retained

    <property>
  <name>dfs.namenode.num.checkpoints.retained</name>
  <value>2</value>
  <description>The number of image checkpoint files (fsimage_*) that will be retained by
    the NameNode and Secondary NameNode in their storage directories. All edit
    logs (stored on edits_* files) necessary to recover an up-to-date namespace from the oldest retained
    checkpoint will also be retained.
  </description>
</property>

7、舊節點下線操作

7.1 介紹

舊節點下線操作，需要通過黑白名單進行控制。下線時主要完成舊節點資料的安全轉移。成功後，就可以安全下線了。hdfs的黑白名單由dfs.hosts.exclude和dfs.hosts控制，yarn的黑白名單由yarn.resourcemanager.nodes.exclude-path和yarn.resourcemanager.nodes.include-path控制。

  • dfs.hosts

    白名單，可以連到namenode的datanode節點列表。

  • dfs.hosts.exclude

    黑名單，不允許連線到namenode的datanode節點列表。

黑白名單組合規則：

dfs.hosts dfs.hosts.exclude 結果
NO NO Not
NO YES Not
YES NO YES
YES YES YES並將退役

7.2 HDFS舊節點下線操作

  1. 準備黑白名單

    • dfs_exclude.conf
    • dfs_include.conf

  2. 配置hdfs-site.xml的黑白名單屬性

    [hdfs-site.xml]

    <!-- 白名單 -->
<property>
  <name>dfs.hosts</name>
  <value>/soft/hadoop/etc/full/dfs_include.conf</value>
</property>
<!-- 黑名單 -->
<property>
  <name>dfs.hosts.exclude</name>
  <value>/soft/hadoop/etc/full/dfs_exclude.conf</value>
</property>

    ​

  3. 新增退役節點地址到黑名單，不要更新白名單

    [dfs_exclude.conf]

    s102

  4. 重新整理nn

    $>hdfs dfsadmin -refreshNodes

  5. 進入webui，檢視退役的節點是否顯式為"退役中"，開始複製資料塊到其他節點。

    http://s101:50070/

  6. 一旦複製完成，狀態顯式"Decommissioned",停止退役節點

  7. 從白名單中刪除退役節點

  8. 再次重新整理節點

    $>hdfs dfsadmin -refreshNodes

  9. 從slaves中刪除退役節點

8、HDFS新節點上線

新節點上線時，需要先配置ssh和hadoop軟體包。上線實操過程如下：

  1. 配置新節點ssh和安裝hadoop軟體包以及配置環境變數

    略

  2. 新增新地址到白名單

  3. 重新整理名稱節點

    $>hdfs dfsadmin -refreshNodes

  4. 更新slaves檔案

  5. 單獨啟動新節點的datanode程序

    $>hadoop-daemon.sh start datanode

  6. 檢查webui

9、YARN舊節點下線

  1. 準備黑白名單

    yarn_exclude.conf

    yarn_include.conf

  2. 配置yarn-site.xml的黑白名單屬性

    [yarn-site.xml]

    <!-- yarn白名單 -->
<property>
  <name>yarn.resourcemanager.nodes.include-path</name>
  <value>/soft/hadoop/etc/full/yarn_include.conf</value>
</property>
<!-- yarn黑名單 -->
<property>
  <name>yarn.resourcemanager.nodes.exclude-path</name>
  <value>/soft/hadoop/etc/full/yarn_exclude.conf</value>
</property>

  3. 新增退役節點地址到黑名單，不要更新白名單

    [yarn-exclude.conf]

    s102

  4. 重新整理yarn

    $>yarn rmadmin -refreshNodes

  5. 進入webui，檢視退役的節點是否顯式為"退役中"，開始複製資料塊到其他節點。

    http://rm:8088/

  6. 一旦複製完成，狀態顯式"Decommissioned",停止退役節點

  7. 從白名單中刪除退役節點

  8. 再次重新整理節點

    $>yarn rmadmin -refreshNodes

  9. 從slaves中刪除退役節點

相關推薦

Hadoop常用操作筆記

com jdb strong span 常用 star nod con nbsp 1 hadoop-daemon.sh start namenode 2 hadoop-daemon.sh start datanode 3 yarn-daemon.sh start reso

Hadoop常用操作

Hadoop常用操作 1、Hadoop安裝 略 2、Hadoop配置 略 3、Hadoop多目錄配置 namenode和datanode節點下都可以進行多個目錄的配置，但是意義不同。namenode的多目錄配置是副本策略，保證資料可靠性，datanode多目錄配置是對容量進行擴容，由於datano

hadoop實戰(四) HDFS常用操作指令

一、HDFS的概念和特性    首先，它是一個檔案系統，用於儲存檔案，通過統一的名稱空間——目錄樹來定位檔案。其次，它是分散式的，由很多伺服器聯合起來實現其功能，叢集中的伺服器有各自的角色 重要特性如下：    （1）HDFS中的檔案在物理上是分塊儲存（block），塊的大

Hadoop之HDFS常用操作練習（基礎）

內容整理於筆記 叢集規劃： ☛Hadoop的高可用完全分佈模式中有HDFS的主節點和資料節點、MapReduce的主節點和任務節點、資料同步通訊節點、主節點切換控制節點總共6類服務節點， 其中 HDFS的主節點、MapReduce的主節點、主節點切換控制節

操作hadoop常用的命令

 1.檢視hdfs某一資料夾的大小： hadoop fs  -du  -h  /路徑 2.檢視文字的前十行、後十行....... 隨機返回指定行數的樣本資料 hadoop fs -cat /test/gonganbu/scene_analysis

hadoop分散式檔案系統（HDFS）常用操作

使用命令hadoop fs可以檢視所有的命令，基本上和linux系統命令類似 1、建立資料夾（預設使用者根目錄） hadoop fs -mkdir peom 2、檢視檔案（可以看到許可權，檔案所屬，以及組屬性） hadoop fs -ls /user/lhy 3、將

byte 常用 操作

exceptio cat 移動 ror 位置 all const 長度 ear /** * 低位在前，高位在後 * * @param data * @return */ private byte[] intToBytes(int value) {

Rancher常用操作及名詞概念解析

開發 隔離 用戶登錄 項目組 做什麽 前言： 關於Rancher安裝請參考Rancher-Server部署，此文操作過程是基於以上部署環境進行演示。關於Rancher是做什麽，能完成哪些功能，有哪些優據點請自行了解。 本文主要介紹以下幾點什麽是環境如何添加環境什麽是應用棧如何添

Rancher常用操作及名詞解析

用戶登錄 項目組 做什麽 開發 隔離 前言： 關於Rancher安裝請參考Rancher-Server部署，此文操作過程是基於以上部署環境進行演示。關於Rancher是做什麽，能完成哪些功能，有哪些優據點請自行了解。 本文主要介紹以下幾點什麽是環境如何添加環境什麽是應用棧如何添

VPS常用操作（自用）

stat art ado ssserver exe 常用 gin lsp sse 1.screen 用來開啟進程，關閉ssh或命令行後扔可以繼續運行 screen screen -list screen -r xx screen -S PID -X quit 2.

redis的五大數據類型以及與 key 關鍵字相關的常用操作命令

redis數據類型 key關鍵字相關的指令 redis學習 1、redis的五大數據類型： 先來看看redis官方網上文檔 的介紹： 這裏簡單地說，就是redis不是一個普通的 key-value 存儲，而是一個數據結構服務器，支持各種不同 類型的值，這

SQL Server 常用操作XML

man 刪除節點 操作 ble rep 插入 mman varchar lis --修改FunctionNo節點值，@OperateFunctionNo為參數 set @DataXml.modify(‘replace value of (/CrudData/Functio

SAS編程基礎 - 菜鳥入門常用操作

強制 http ctrl+s 技術分享 shift 菜鳥 ctr 編輯 菜鳥入門 1. SAS9.4添加和取消註釋的快捷鍵？ Ctrl+/：添加註釋 Ctrl+Shift+/：取消註釋 2. 如何強制終止程序運行？

DB2 建表，添加字段，刪除字段，修改字段等常用操作

varchar 查看 ble col har 同時 int 添加 建數據庫 轉載：http://blog.sina.com.cn/s/blog_67aaf4440100v01p.html，稍作修改。 --創建數據庫 create database Etp; --連接數據庫

Python學習雜記_5_列表常用操作

列表 查看 關鍵字 zha python學習 操作 開始 def 刪除列 列表操作 列表時用方括號括起來的一組元素值，是可變變量，可通過下表取值，也可以通過下表來修改值，列表中的元素是有序的，可以是不同的基本數據類型，如： names=[1, 2, 3, “abc”, “d

linux常用操作

perm permanent oot fire 失效 linu linux smbd -i 常用操作 1，防火墻 firewall-cmd --permanent --add-port=5432/tcp firewall-cmd --permanent --add-port

QSerialPort的線程常用操作(包含心跳，讀寫延時方法等)

exp tab else rect 信號 ttl tag fine blog 1 #ifndef DATACOMMSERIAL_H 2 #define DATACOMMSERIAL_H 3 4 #include <QThread> 5 #inclu

【Oracle】Oracle中的常用操作

轉換成 sql查詢語句 sub 備份 關系 %d des 統計分析 put 一、ORACLE的啟動和關閉 1、在單機環境下 要想啟動或關閉ORACLE系統必須首先切換到ORACLE用戶，如下 su - oracle a、啟動ORACLE系統 oracle>svrmgr

內置數據結構 ：列表及常用操作

xtend 也會 count insert 返回 所在 .so 數據 start 列表是一個序列：用於順序的存儲數據， 通常在定義的時候，使用中括號，在轉化可叠代對象為列表時用list 函數 1，訪問列表元素： List[0] 通過下標訪問

IntelliJ Idea 常用操作詳細教程

lips 缺點 優缺點 intellij 常用操作 程序 兩個 參考 tel 近幾年IntelliJ Idea的迅速崛起大家是有目共睹的，但是eclipse依然是大家耳熟能詳的Java IDE，也是大家以前最常用的IDE，如今好多程序員轉戰IntelliJ Idea（包括我