2. 程式人生 > >《深入理解大資料-大資料處理與編輯實踐》hadoop1.2.1安裝

《深入理解大資料-大資料處理與編輯實踐》hadoop1.2.1安裝

阿新 • • 發佈：2019-02-14

【第一部分】《深入理解大資料》一書的原始碼 

【第二部分】安裝hadoop1.2.1安裝

【1】安裝java程式
jdk-6u45-linux-i586-rpm.rar 解壓後為 jdk-6u45-linux-i586-rpm.bin
安裝執行 ./jdk-6u45-linux-i586-rpm.bin
安裝成功後目錄為 /usr/java/jdk1.6.0_45
A22811459:/usr/java/jdk1.6.0_45 # pwd
/usr/java/jdk1.6.0_45
A22811459:/usr/java/jdk1.6.0_45 # ls
COPYRIGHT  LICENSE  README.html  THIRDPARTYLICENSEREADME.txt  bin  include  jre  lib  man  src.zip

【1.2】在系統中/etc/profile新增java路徑，便於呼叫
#set java
export JAVA_HOME=/usr/java/jdk1.6.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

【1.3】讓配置生效
# source /etc/profile

【1.4】檢視java版本，說明安裝成功
A22811459:/usr/java/jdk1.6.0_45 # java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) Server VM (build 20.45-b01, mixed mode

【1.5】可以寫一個簡單的java程式進行編譯執行，進一步確保java安裝成功
HelloWel.java

public class HelloWel {
       public static void main(String[] args)
       {
          System.out.println("JAVA OK");    
       }    
}

編譯和執行
# javac HelloWel.java
# java HelloWel
JAVA OK
至此可百分百確保Java安裝沒有問題，java路徑(後面會用到)為 /usr/java/jdk1.6.0_45


【2】hadoop1.2.1安裝 參考《深入理解大資料》
【2.1】建立hadoop使用者
#groupadd hadoop-user
#useradd -g hadoop-user hadoop
#passwd hadoop

【2.2】配置SSH
#ssh-keygen -t rsa
# cd /root/.ssh/
#cp id_rsa.pub authorized_keys
#ssh localhost
檢視結果
# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts

【2.3】配置hadoop環境
hadoop系統版本 hadoop-1.2.1.tar.gz
解壓後linux目錄為 /home/longhui/hadoop/hadoop-1.2.1/

【2.3.1】配置 conf/hadoop-env.sh 配置JAVA_HOME對應的路徑
export JAVA_HOME=/usr/java/jdk1.6.0_45

【2.3.2】配置三個xml檔案
【1】core-site.xml配置
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://A22811459:9000</value>
</property>
</configuration>
【備註】
臨時資料夾為/tmp/hadoop，配置成功後該目錄下會生成兩個資料夾dfs  mapred，並且/tmp目錄下會生成一些pid檔案
A22811459:/tmp # ls hadoop
hadoop/                            hadoop-root-jobtracker.pid         hadoop-root-secondarynamenode.pid
hadoop-root-datanode.pid           hadoop-root-namenode.pid           hadoop-root-tasktracker.pid
【2】hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/longhui/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/longhui/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
【備註】
配置成功後/home/longhui/hadoop/dfs/name下會生成一些檔案current  image  in_use.lock  previous.checkpoint
/home/longhui/hadoop/dfs/data生成blocksBeingWritten  current  detach  in_use.lock  storage  tmp
【3】mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>A22811459:9001</value>
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/longhui/hadoop/mapred/local</value>
</property>
<property>
<name>mapreduce.jobtracker.system.dir</name>
<value>/home/longhui/hadoop/mapred/system</value>
</property>
</configuration>
【4】由於主機名為A22811459，所以就不是localhost，並且/etc/hosts檔案中也要修改下
127.0.0.1       A22811459


【2.3.3】在/etc/profile中新增hadoop路徑並# source /etc/profile 生效
#set hadoop
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_HOME=/home/longhui/hadoop/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

【2.3.4】格式化HDFS檔案系統
執行 bin/hadoop namenode -format 或直接hadoop namenode -format 接著輸入Y
# hadoop namenode -format
16/12/15 12:59:50 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = A22811459/127.0.0.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.6.0_45
************************************************************/
Re-format filesystem in /home/longhui/hadoop/dfs/name ? (Y or N) Y
16/12/15 12:59:52 INFO util.GSet: Computing capacity for map BlocksMap
16/12/15 12:59:52 INFO util.GSet: VM type       = 32-bit
16/12/15 12:59:52 INFO util.GSet: 2.0% max memory = 932118528
16/12/15 12:59:52 INFO util.GSet: capacity      = 2^22 = 4194304 entries
16/12/15 12:59:52 INFO util.GSet: recommended=4194304, actual=4194304
16/12/15 12:59:53 INFO namenode.FSNamesystem: fsOwner=root
16/12/15 12:59:53 INFO namenode.FSNamesystem: supergroup=supergroup
16/12/15 12:59:53 INFO namenode.FSNamesystem: isPermissionEnabled=true
16/12/15 12:59:53 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
16/12/15 12:59:53 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
16/12/15 12:59:53 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
16/12/15 12:59:53 INFO namenode.NameNode: Caching file names occuring more than 10 times
16/12/15 12:59:53 INFO common.Storage: Image file /home/longhui/hadoop/dfs/name/current/fsimage of size 110 bytes saved in 0 seconds.
16/12/15 12:59:53 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/longhui/hadoop/dfs/name/current/edits
16/12/15 12:59:53 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/longhui/hadoop/dfs/name/current/edits
16/12/15 12:59:53 INFO common.Storage: Storage directory /home/longhui/hadoop/dfs/name has been successfully formatted.
16/12/15 12:59:53 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at A22811459/127.0.0.1
************************************************************/
【備註】如果警告Warning: $HADOOP_HOME is deprecated. 
解決方法：在/etc/profie中新增一行，然後讓配置生效# source /etc/profile，再執行bin/hadoop namenode -format就不會報錯
export HADOOP_HOME_WARN_SUPPRESS=1
【2.3.5】啟動hadoop環境  注停止時stop-all.sh
# start-all.sh
starting namenode, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-namenode-A22811459.out
localhost: starting datanode, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-A22811459.out
localhost: starting secondarynamenode, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-secondarynamenode-A22811459.out
starting jobtracker, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-jobtracker-A22811459.out
localhost: starting tasktracker, logging to /home/longhui/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-tasktracker-A22811459.out

【2.3.6】使用jps檢視叢集狀態，除jps程序外，另外五個程序缺一不可。如下說明正常啟動了
# jps
2352 TaskTracker
1940 DataNode
1802 NameNode
2465 Jps
2211 JobTracker
2106 SecondaryNameNode

【3】執行第一個自帶的測試用例：計算PI的值
A22811459:/home/longhui/hadoop/hadoop-1.2.1 # hadoop jar hadoop-examples-1.2.1.jar pi 2 5
Number of Maps  = 2
Samples per Map = 5
Wrote input for Map #0
Wrote input for Map #1
Starting Job
16/12/15 14:06:04 INFO mapred.FileInputFormat: Total input paths to process : 2
16/12/15 14:06:04 INFO mapred.JobClient: Running job: job_201612151254_0001
16/12/15 14:06:05 INFO mapred.JobClient:  map 0% reduce 0%
16/12/15 14:06:10 INFO mapred.JobClient:  map 100% reduce 0%
16/12/15 14:06:18 INFO mapred.JobClient:  map 100% reduce 33%
16/12/15 14:06:19 INFO mapred.JobClient:  map 100% reduce 100%
16/12/15 14:06:19 INFO mapred.JobClient: Job complete: job_201612151254_0001
16/12/15 14:06:19 INFO mapred.JobClient: Counters: 30
16/12/15 14:06:19 INFO mapred.JobClient:   Job Counters
16/12/15 14:06:19 INFO mapred.JobClient:     Launched reduce tasks=1
16/12/15 14:06:19 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=6864
16/12/15 14:06:19 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
16/12/15 14:06:19 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
16/12/15 14:06:19 INFO mapred.JobClient:     Launched map tasks=2
16/12/15 14:06:19 INFO mapred.JobClient:     Data-local map tasks=2
16/12/15 14:06:19 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=8661
16/12/15 14:06:19 INFO mapred.JobClient:   File Input Format Counters
16/12/15 14:06:19 INFO mapred.JobClient:     Bytes Read=236
16/12/15 14:06:19 INFO mapred.JobClient:   File Output Format Counters
16/12/15 14:06:19 INFO mapred.JobClient:     Bytes Written=97
16/12/15 14:06:19 INFO mapred.JobClient:   FileSystemCounters
16/12/15 14:06:19 INFO mapred.JobClient:     FILE_BYTES_READ=50
16/12/15 14:06:19 INFO mapred.JobClient:     HDFS_BYTES_READ=478
16/12/15 14:06:19 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=160889
16/12/15 14:06:19 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215
16/12/15 14:06:19 INFO mapred.JobClient:   Map-Reduce Framework
16/12/15 14:06:19 INFO mapred.JobClient:     Map output materialized bytes=56
16/12/15 14:06:19 INFO mapred.JobClient:     Map input records=2
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce shuffle bytes=56
16/12/15 14:06:19 INFO mapred.JobClient:     Spilled Records=8
16/12/15 14:06:19 INFO mapred.JobClient:     Map output bytes=36
16/12/15 14:06:19 INFO mapred.JobClient:     Total committed heap usage (bytes)=377028608
16/12/15 14:06:19 INFO mapred.JobClient:     CPU time spent (ms)=3100
16/12/15 14:06:19 INFO mapred.JobClient:     Map input bytes=48
16/12/15 14:06:19 INFO mapred.JobClient:     SPLIT_RAW_BYTES=242
16/12/15 14:06:19 INFO mapred.JobClient:     Combine input records=0
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce input records=4
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce input groups=4
16/12/15 14:06:19 INFO mapred.JobClient:     Combine output records=0
16/12/15 14:06:19 INFO mapred.JobClient:     Physical memory (bytes) snapshot=376963072
16/12/15 14:06:19 INFO mapred.JobClient:     Reduce output records=0
16/12/15 14:06:19 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1132392448
16/12/15 14:06:19 INFO mapred.JobClient:     Map output records=4
Job Finished in 15.585 seconds
Estimated value of Pi is 3.60000000000000000000

【4】

【4.1】輸入伺服器IP：50070埠，這裡可以看到HDFS的管理情況。，可檢視如下html介面
http://10.17.35.xxx:50070/dfshealth.jsp

NameNode 'A22811459:9000'

Started: Thu Dec 15 13:00:10 GMT+08:00 2016
Version: 1.2.1, r1503152
Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf
Upgrades: There are no upgrades in progress.

Cluster Summary

11 files and directories, 13 blocks = 24 total. Heap Size is 57.69 MB / 888.94 MB (6%)
Configured Capacity : 273 GB
DFS Used : 40 KB
Non DFS Used : 260.77 GB
DFS Remaining : 12.23 GB
DFS Used% : 0 %
DFS Remaining% : 4.48 %
Number of Under-Replicated Blocks : 0

NameNode Storage:

Storage Directory Type State
/home/longhui/hadoop/dfs/name IMAGE_AND_EDITS Active

This is Apache Hadoop release 1.2.1

【4.2】50030埠可以看到Map/Reduce的管理情況

A22811459 Hadoop Map/Reduce Administration

State: RUNNING
Started: Thu Dec 15 12:54:23 GMT+08:00 2016
Version: 1.2.1, r1503152
Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf
Identifier: 201612151254
SafeMode: OFF

Cluster Summary (Heap Size is 51.56 MB/888.94 MB)

Running Map Tasks Running Reduce Tasks Total Submissions Nodes Occupied Map Slots Occupied Reduce Slots Reserved Map Slots Reserved Reduce Slots Map Task Capacity Reduce Task Capacity Avg. Tasks/Node Blacklisted Nodes Graylisted Nodes Excluded Nodes
0 0 1 1 0 0 0 0 2 2 4.00 0 0 0

Scheduling Information

Queue Name State Scheduling Information
Filter (Jobid, Priority, User, Name)
Example: 'user:smith 3200' will filter by 'smith' only in the user field and '3200' in all fields

Running Jobs

Completed Jobs

Jobid Started Priority User Name Map % Complete Map Total Maps Completed Reduce % Complete Reduce Total Reduces Completed Job Scheduling Information Diagnostic Info
Thu Dec 15 14:06:04 GMT+08:00 2016 NORMAL root PiEstimator 100.00% 2 2 100.00% 1 1 NA NA

Retired Jobs

none

Local Logs

Log directory, Job Tracker History This is Apache Hadoop release 1.2.1





















































相關推薦

《深入理解大資料-大資料處理與編輯實踐》hadoop1.2.1安裝

【第一部分】《深入理解大資料》一書的原始碼  【第二部分】安裝hadoop1.2.1安裝 【1】安裝java程式 jdk-6u45-linux-i586-rpm.rar 解壓後為 jdk-6u45-linux-i586-rpm.bin 安裝執行 ./jdk-6u4

python資料探勘與入門實踐（2.1）用sciket-learn估計器分類

書中主要是用sciket-learn的近鄰演算法進行估計器分類。準備工作：          目標  ; -建立分類器，自動判別資料的好壞;          資料集 ：來自http://archive.ics.uci.edu/ml/machine-learning-dat

深入理解MySQL索引底層資料結構與演算法

一 理解索引的特性 索引是幫助MySQL高效獲取資料的排好序的資料結構 索引儲存在檔案裡 二 索引的各種儲存結構及其優缺點 在開始講這一小節之前，我們先來看一下在資料庫沒有加索引的情況下，SQL中

機器學習-3.資料特徵預處理與資料降維

特徵預處理定義：通過特定的統計方法（數學方法）將資料轉換成演算法要求的資料。 處理方法 數值型資料：標準縮放（1.歸一化，2.標準化）；缺失值。 類別型資料：one-hot編碼。 時間型別：時間的切分。 預處理API：sklear

薦書丨深度學習之美——AI時代的資料處理與最佳實踐

點選上方“程式人生”，選擇“置頂公眾號”第一時間關注程式猿（媛）身邊的故事零入門 | 高可讀|

深入理解計算機系統大作業

摘要 本論文從一個程式檔案hello.c出發，通過講述該檔案實現P2P,O2O的過程，簡單地展現了計算機系統的工作原理，並且回顧了許多實用的工具。 關鍵詞：P2P,O2O，計算機系統，程式； 第1章 概述 1.1 Hello簡介 P2P 1.編譯過程 2. 建立並執行程

深入理解JVM-執行時資料區域

JVM執行java程式是會把它管理的記憶體劃分為若干個不同的資料區域，如圖所示   程式計數器 1.是一塊較小的記憶體空間，可以看做是當前執行緒所執行的位元組碼的行號指示器； 2.JVM的多執行緒是通過執行緒輪流切換並分配處理器執行時間的方式來實現的，在任何一個確定的時刻，一個處理器（對

深入理解系列之JAVA資料結構（4）——Hashtable

1、Hashtable和HashMap，從儲存結構和實現來講基本上都是相同的， Hashtable繼承自Dictionary類，而HashMap繼承自AbstractMap類，但二者都實現了Map介面。 2、它和HashMap的最大的不同是它是

為深入理解面向物件——大牛生小牛的問題

    最近在看老馬的設計模式的視訊，在對於面向物件的理解時。有個問題很能幫助我們理解面向物件，於是乎自己也照著網上的一些例項做了下。問題是這樣的——農場有頭大母牛,每年生頭小母牛,小牛五年後生小母牛,問20年後農場一共有多少頭牛？  記得面向物件的思維方式是首先看有哪些物

深入理解系列之JAVA資料結構（2）——LinkedList

1、LinkedList 是一個繼承於AbstractSequentialList的雙向連結串列。它也可以被當作堆疊、佇列或雙端佇列進行操作。 2、LinkedList相對於ArrayList來說，是可以快速新增，刪除元素，ArrayList新增刪除

深入理解C語言-----各資料型別大小

首先看下C標準中“未明確定義”的三種類型Implementation-defined、Unspecified和Undefined。 Implementation-defined 的情況，是C 標準沒有明確規定，但是要求編譯器必須對此做出明確規定，並寫在編譯器的文件中。

第四章 資料的預處理與特徵構建(續)

申請評分卡模型 資料的預處理與特徵構建(續) 課程簡介：邏輯迴歸模型的特徵需要是數值型，因此類別型變數不能直接放入模型中去，需要對其進行編碼。此外，為了獲取評分模型的穩定性，建模時需要對數值型特徵做分箱的處理。最終在帶入模型之前，我們還需要對特徵做單變數與多變數分析的工作。 目錄： 特徵的

深入理解JVM：垃圾收集器與內存分配策略

四種 內存回收 第一次 不可達 append test 方法 static hot 堆裏面存放著Java世界差點兒全部的對象實例，垃圾收集器在對堆進行回收前。第一件事情就是要確定這些對象之中哪些還存活，哪些已經死去。推斷對象的生命周期是否結束有下面幾種方

深入理解移動端像素知識與Viewport知識（轉 ）

num height com 密度 橫豎 行業 alt show 改變大小 一 像素知識 1.1 設備像素(device pixel) 它是物理概念，指的是設備中使用的物理像素(Physic pixel)。這個單位用px表示，它是一個[相對絕對單位

深入理解Java中的字段與屬性的區別

ring rgs name 私有變量 pub tail 博文 們的 方式 轉載出處 http://blog.csdn.net/chenchunlin526/article/details/69939337 1、Java中的屬性和字段有什麽區別？ 答：Java中的屬性(p

深入理解［代理模式］原理與技術

如何理解代理模式？ 思考抽象問題最好的辦法就是具體化！ 比如我們需要為一個業務方法在執行前後記錄日誌，為了達到解耦的目的，我們可以再新建一個類並定義一個新的業務方法，該方法既可以呼叫原業務方法，又可以在呼叫前後進行日誌處理，例如： CarProxy.class public 

深入理解TCP/IP協議-TCP建立與終止連線

轉載自  深入理解TCP/IP協議-TCP建立與終止連線   一、引言   TCP 是一個面向連線的協議。無論哪一方向另一方傳送資料之前，都必須先在雙方之間建立一條連線。連線建立與終止的狀態變化圖如下：   二、三次握手建立連線

深入理解ElasticSearch（六）排序與相關性

排序與相關性 預設情況下，返回的結果是按照 相關性 進行排序的——最相關的文件排在最前。 在本章的後面部分，我們會解釋 相關性 意味著什麼以及它是如何計算的， 不過讓我們首先看看 sort 引數以及如何使用它。 1、排序 為了按照相關性來排序，需要將相關性表示為一個數值

深入理解［Future模式］原理與技術

1.Future模式 Future模式和多執行緒技術密切相關，可以說是利用多執行緒技術優化程式的一個例項。 在程式設計中，當某一段程式提交了一個請求，期望得到一個答覆。但非常不幸的是，服務程式對這個請求的處理可能比較慢，比如，這個請求可能是通過網際網路、HTTP或者Web Service等並不高效的方式呼

《深入理解Java虛擬機器——JVM高階特性與最佳實踐(第2版)》pdf

前言 致謝 第一部分 走近Java 第1章 走近Java / 2 1.1 概述 / 2 1.2 Java技術體系 / 3 1.3 Java發展史 / 5 1.4 展望Java技術的未來 / 9 1.4.1 模組化 / 9 1.4.2 混合語言 / 9 1.4.