2. 程式人生 > >Hadoop基礎教程-第2章 Hadoop快速入門（2.4 Hadoop單機執行）

Hadoop基礎教程-第2章 Hadoop快速入門（2.4 Hadoop單機執行）

阿新 • • 發佈：2019-02-13

第2章 Hadoop快速入門

2.4 Hadoop單機執行

緊接上一節內容，首先切換到Hadoop根目錄

這裡寫圖片描述 
或者cd /opt/hadoop-2.7.3進入Hadoop根目錄 
通過pwd命令可以知道當前所在目錄

[root@node1 hadoop-2.7.3]# pwd

這裡寫圖片描述

注意：本節命令都將在/opt/hadoop-2.7.3目錄下執行。

2.4.1 namenode格式化

執行bin/hadoop namenode -format命令，進行namenode格式化

[root@node1 hadoop-2.7.3]# bin/hadoop namenode -format

這裡寫圖片描述 
輸出資訊(下半部分)：

17/05/12 05:59:11
 
 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
17/05/12 05:59:11 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-db9a34c9-661e-4fc0-a273-b554e0cfb32b
17/05/12 05:59:12 INFO namenode.FSNamesystem: No KeyProvider found.
17/05/12 05:59:12 INFO namenode.FSNamesystem
 
: fsLock is fair:true
17/05/12 05:59:12 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000
17/05/12 05:59:12 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
17/05/12 05:59:12 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion
 
.sec is set to 000:00:00:00.000
17/05/12 05:59:12 INFO blockmanagement.BlockManager: The block deletion will start around 2017 May 12 05:59:12
17/05/12 05:59:12 INFO util.GSet: Computing capacity for map BlocksMap
17/05/12 05:59:12 INFO util.GSet: VM type       = 64-bit
17/05/12 05:59:12 INFO util.GSet: 2.0% max memory 966.7 MB = 19.3 MB
17/05/12 05:59:12 INFO util.GSet: capacity      = 2^21 = 2097152 entries
17/05/12 05:59:12 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false
17/05/12 05:59:12 INFO blockmanagement.BlockManager: defaultReplication         = 1
17/05/12 05:59:12 INFO blockmanagement.BlockManager: maxReplication             = 512
17/05/12 05:59:12 INFO blockmanagement.BlockManager: minReplication             = 1
17/05/12 05:59:12 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2
17/05/12 05:59:12 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000
17/05/12 05:59:12 INFO blockmanagement.BlockManager: encryptDataTransfer        = false
17/05/12 05:59:12 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000
17/05/12 05:59:12 INFO namenode.FSNamesystem: fsOwner             = root (auth:SIMPLE)
17/05/12 05:59:12 INFO namenode.FSNamesystem: supergroup          = supergroup
17/05/12 05:59:12 INFO namenode.FSNamesystem: isPermissionEnabled = true
17/05/12 05:59:12 INFO namenode.FSNamesystem: HA Enabled: false
17/05/12 05:59:12 INFO namenode.FSNamesystem: Append Enabled: true
17/05/12 05:59:13 INFO util.GSet: Computing capacity for map INodeMap
17/05/12 05:59:13 INFO util.GSet: VM type       = 64-bit
17/05/12 05:59:13 INFO util.GSet: 1.0% max memory 966.7 MB = 9.7 MB
17/05/12 05:59:13 INFO util.GSet: capacity      = 2^20 = 1048576 entries
17/05/12 05:59:13 INFO namenode.FSDirectory: ACLs enabled? false
17/05/12 05:59:13 INFO namenode.FSDirectory: XAttrs enabled? true
17/05/12 05:59:13 INFO namenode.FSDirectory: Maximum size of an xattr: 16384
17/05/12 05:59:13 INFO namenode.NameNode: Caching file names occuring more than 10 times
17/05/12 05:59:13 INFO util.GSet: Computing capacity for map cachedBlocks
17/05/12 05:59:13 INFO util.GSet: VM type       = 64-bit
17/05/12 05:59:13 INFO util.GSet: 0.25% max memory 966.7 MB = 2.4 MB
17/05/12 05:59:13 INFO util.GSet: capacity      = 2^18 = 262144 entries
17/05/12 05:59:13 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
17/05/12 05:59:13 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
17/05/12 05:59:13 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension     = 30000
17/05/12 05:59:13 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
17/05/12 05:59:13 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
17/05/12 05:59:13 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
17/05/12 05:59:13 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
17/05/12 05:59:13 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
17/05/12 05:59:13 INFO util.GSet: Computing capacity for map NameNodeRetryCache
17/05/12 05:59:13 INFO util.GSet: VM type       = 64-bit
17/05/12 05:59:13 INFO util.GSet: 0.029999999329447746% max memory 966.7 MB = 297.0 KB
17/05/12 05:59:13 INFO util.GSet: capacity      = 2^15 = 32768 entries
17/05/12 05:59:13 INFO namenode.FSImage: Allocated new BlockPoolId: BP-2055065474-192.168.80.131-1494583153319
17/05/12 05:59:13 INFO common.Storage: Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.
17/05/12 05:59:13 INFO namenode.FSImageFormatProtobuf: Saving image file /tmp/hadoop-root/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/05/12 05:59:13 INFO namenode.FSImageFormatProtobuf: Image file /tmp/hadoop-root/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 351 bytes saved in 0 seconds.
17/05/12 05:59:13 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/05/12 05:59:13 INFO util.ExitUtil: Exiting with status 0
17/05/12 05:59:13 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node1/192.168.80.131
************************************************************/

這裡寫圖片描述

在執行結果中可以找到has been successfully formatted，說明namenode格式化成功了！

2.4.2 啟動HDFS

執行sbin/start-dfs.sh命令啟動HDFS

[[email protected] hadoop-2.7.3]# sbin/start-dfs.sh
Starting namenodes on [node1]
node1: starting namenode, logging to /opt/hadoop-2.7.3/logs/hadoop-root-namenode-node1.out
localhost: starting datanode, logging to /opt/hadoop-2.7.3/logs/hadoop-root-datanode-node1.out
Starting secondary namenodes [0.0.0.0]
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
ECDSA key fingerprint is e2:9a:7d:70:25:24:45:11:97:12:35:e0:45:4c:64:31.
Are you sure you want to continue connecting (yes/no)? yes
0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.7.3/logs/hadoop-root-secondarynamenode-node1.out

在啟動HDFS過程中，按照提示輸入“yes” 
這裡寫圖片描述

通過jps命令可以檢視Java程序

[root@node1 hadoop-2.7.3]# jps

這裡寫圖片描述

jps(Java Virtual Machine Process Status Tool)是JDK 1.5開始提供的一個顯示當前所有Java程序pid的命令，簡單實用，非常適合在Linux/unix平臺上簡單察看當前java程序的一些簡單情況。 
jps -l輸出應用程式main class的完整package名 或者 應用程式的jar檔案完整路徑名

[[email protected] ~]# jps -l
5752 sun.tools.jps.Jps
5342 org.apache.hadoop.hdfs.server.namenode.NameNode
5440 org.apache.hadoop.hdfs.server.datanode.DataNode
5630 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

2.4.3 啟動YARN

通過命令sbin/start-yarn.sh啟動YARN

[[email protected] hadoop-2.7.3]# sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.7.3/logs/yarn-root-resourcemanager-node1.out
localhost: starting nodemanager, logging to /opt/hadoop-2.7.3/logs/yarn-root-nodemanager-node1.out

這裡寫圖片描述 
然後通過jps檢視YARN的程序

[root@node1 hadoop-2.7.3]# jps
5440 DataNode
7253 ResourceManager
7351 NodeManager
5342 NameNode
5630 SecondaryNameNode
7662 Jps

[root@node1 hadoop-2.7.3]#

這裡寫圖片描述

可以看到多了ResourceManager和NodeManager兩個程序。

2.4.4 HDFS WEB介面

HDFS的Web介面預設埠號是50070。 
因為宿主機Windows的hosts檔案沒有配置虛擬機器相關IP資訊，所以需要通過IP地址來訪問HDFS WEB介面，在瀏覽器中開啟:http://192.168.80.131:50070

這裡寫圖片描述
單擊頁面上部的導航欄中的“Datanodes” 
這裡寫圖片描述

2.4.5 YARN WEB介面

這裡寫圖片描述

單擊左側選單欄的“Nodes”，可以檢視NodeManager資訊

這裡寫圖片描述

相關推薦

Hadoop基礎教程-第1章 環境安裝配置（1.5 構建叢集）

第1章 環境安裝配置 1.5 構建叢集 1、叢集概念 根據百度的解釋： 叢集是一組相互獨立的、通過高速網路互聯的計算機，它們構成了一個組，並以單一系統的模式加以管理。一個客戶與叢集相互作用時，叢集像是一個獨立的伺服器。叢集配置是用於提高可用性和可

Hadoop基礎教程-第2章 Hadoop快速入門（2.2 Hadoop下載與安裝）

2.1 Hadoop下載與安裝2.1.1 官網下載可以使用迅雷或QQ旋風等多執行緒下載工具來下載，支援斷點續傳。成功下載後得到hadoop-2.7.3.tar.gz壓縮檔案，204M。請檢查壓縮包是否204M，瀏覽器下載的話可能會中斷。2.1.2 上傳至虛擬機器通過ll或ls命令可以檢視到已經上傳到虛擬機器n

Hadoop基礎教程-第2章 Hadoop快速入門（2.4 Hadoop單機執行）

第2章 Hadoop快速入門2.4 Hadoop單機執行緊接上一節內容，首先切換到Hadoop根目錄 或者cd /opt/hadoop-2.7.3進入Hadoop根目錄 通過pwd命令可以知道當前所在目錄[root@node1 hadoop-2.7.3]# pwd注意：本節命令都將在/opt/hadoop-2

Python基礎教程 第六章 學習筆記

作用 actor int bsp python基礎 clas 最好 col 學習 收集函數 把實際參收集到元組和字典當中 1 def print_params(*params): 2 print(params) 3 """ 4 print_parasm

maven基礎教程(maven視訊)之maven快速入門2

maven免費視訊地址 maven入門 settings.xml和倉庫 $user.home/.m2/repository/settings.xml 為使用者範圍的配置檔案 $M2_HOME/conf/settings.xml 為全

Web前端開發精品課HTML CSS JavaScript基礎教程第五章課後程式設計題答案

程式設計題： 圖5-15所示為一個問卷調查的網頁，請製作出來。要求：大標題用h1標籤；小題目用h3標籤；前兩個問題使用有序列表；最後一個問題使用無序列表。 用VS2013新建ASP.NET空網站，新增新項，建立HTML檔案，向其加入以下程式碼： <!DOCTYPE h

jQuery基礎教程第六章學習

ajax 這章基本都是在講在不重新整理頁面的條件下載入資料，分別有html，javascript，json，xml這四種資料 html，沒什麼好說的，結構最熟悉了。 javascript，以每個陣列元素為物件來建立，然後用.each()來解析。

Python基礎教程第六章學習筆記——抽象

6 抽象 介紹如何將語句組織成函式，告訴計算機如何做事（只告訴一次就可以） 還會介紹引數（parameter）和作用域（scope）概念 遞迴的概念及在程式中的用途 6.1 懶惰即美德 一段程式碼可能要在多處使用，就可以把這段程式碼定義為函式，需要的時候直接呼叫就可以——抽

Learning Spark中文版--第三章--RDD編程（2）

翻譯 瓶頸 並集 ria multi guide 第六章 rabl 函數式 Common Transformations and Actions ??本章中，我們瀏覽了Spark中大多數常見的transformation（轉換）和action（動作）。在包含特定數據類型的R

【計算機網路】第五章 資料鏈路層（2）

三．多路訪問控制（MAC）協議 1. 兩類鏈路 （1）點對點鏈路：撥號接入的PPP、乙太網交換機與主機間的點對點鏈路 （2）廣播鏈路（共享介質）：早期的匯流排乙太網、HFC的上行鏈路、802.11無線區域網 2. 基本概念 （1）單一共享廣播通道 （2）兩個或兩個以上結點同時傳輸，則發生衝突；結點

第7章 網路層協議（2）_ICMP協議

2. ICMP協議 2.1 ICMP報文（Internet Control Message Protocol）的型別 報文型別 型別值 程式碼 描述 請求報文 8 0

《KAFKA官方文件》第三章：快速入門

快速入門 本教程假設讀者完全從零開始，電腦上沒有已經存在的Kafka和Zookeeper環境。以下內容需要注意的是：因為在類Unix平臺和Windows平臺上的Kafka控制指令碼不同，在Windows平臺上，需要使用路徑\bin\windows代替/bin，指令碼副檔名改為.bat。 第

第05章-視覺化技術（2）

流線（Streamlines） 流線可以看做無重量粒子在向量場（如速度場）中的移動路徑。流線可以表達向量場的結構。通常可以建立多個流線來探索向量場中的感興趣特徵。如圖5-4。流線可以通過數值積分來計算，因此只能近似的模擬真實的流線。 圖5-4 被管道所包圍的流線 建立流線需要指定起始點，方向（沿著或者反

Java基礎複習第五天，陣列定義（靜態、動態初始化），陣列儲存機制及陣列的反轉、排序、遍歷

一 陣列定義和訪問 1.案例引入: 如果需要定義多個變數,那麼我們建議使用容器,一次性儲存多個數據,統一操作。 2.容器： 是將多個數據儲存到一起，每個資料稱為該容器的元素。 3.Java中容器: 陣列,集合 陣列:是一個長度固定的容器,而且容器中的元素

Linux快速入門（2）===》檔案的打包壓縮

之前買了伺服器，linux系統，伺服器正在備案中，這段時間學學linux 檔案的打包壓縮 與我們平時所說的打包不一樣。我們平時說的打包是打包後壓縮。 而在Linux下，打包的意思是指只打包不進行檔案壓縮。 壓縮的意思是把檔案進行壓縮。 打包壓縮

Linux快速入門（2）

檔案的打包壓縮 與我們平時所說的打包不一樣。我們平時說的打包是打包後壓縮。 而在Linux下，打包的意思是指只打包不進行檔案壓縮。 壓縮的意思是把檔案進行壓縮。 .tar命令，檔案的打包，解包

C++ Primer 第五版第八章程式設計練習節選（函式過載與模板函式）

#include<iostream> #include<cstring> using namespace std; const int Arsize = 40; struct st { char ch[Arsize]; int

PyTorch 深度學習:60分鐘快速入門（2） ----Autograd: 自動求導

PyTorch 中所有神經網路的核心是autograd包.我們首先簡單介紹一下這個包,然後訓練我們的第一個神經網路. autograd包為張量上的所有操作提供了自動求導.它是一個執行時定義的框架,這意味著反向傳播是根據你的程式碼如何執行來定義,並且每次迭代可以不同. 接下來我們用一些

Thymeleaf 快速入門（2）簡單表示式

2.1.1變量表達式：${…} 模板名稱：var.html 原理類似OGNL/SpringEL表示式 e.g. 1. Established locale country: <span th:text="${#locale.country}"

vb.net正則表示式快速入門（2）

6.使用?*或 進行重複?：告訴引擎匹配前導字元0次或一次。事實上是表示前導字元是可選的。（問號）  ：告訴引擎匹配前導字元1次或多次(空格）*：告訴引擎匹配前導字元0次或多次（星號） <[A-Za-z][A-Za-z0-9]*> 匹配沒有屬性的HTML標籤，“ <”以及“>