1. 程式人生 > >Ubuntu上使用Hadoop 2.x 一 hdfs超級使用者建立和設定

Ubuntu上使用Hadoop 2.x 一 hdfs超級使用者建立和設定

本系列介紹安裝Hadoop 2.2.0 single node。

本文介紹的是HDFS的超級使用者hduser的建立過程,HDFS的設計讓啟動namenode的使用者成為超級使用者。

首先準備一個虛擬機器,Ubuntu 12.04.4

Java環境:

[email protected]:~# mvn --version
Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 15:22:22+0000)
Maven home: /usr/apache-maven-3.1.1
Java version: 1.7.0_51, vendor: Oracle Corporation
Java home: /usr/lib/jvm/java-7-oracle/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.2.0-59-virtual", arch: "amd64", family: "unix"
安裝過程參考了


建立hadoop的使用者以及組, 組hadoop, 使用者名稱hduser, 密碼hduser

[email protected]:~# addgroup hadoop
Adding group `hadoop' (GID 1001) ...
Done.
[email protected]:~# adduser --ingroup hadoop hduser
Adding user `hduser' ...
Adding new user `hduser' (1001) with group `hadoop' ...
Creating home directory `/home/hduser' ...
Copying files from `/etc/skel' ...
Enter new UNIX password: 
Retype new UNIX password: 
passwd: password updated successfully
Changing the user information for hduser
Enter the new value, or press ENTER for the default
	Full Name []: 
	Room Number []: 
	Work Phone []: 
	Home Phone []: 
	Other []: 
Is the information correct? [Y/n] y

新增到sudo組中
[email protected]:~# adduser hduser sudo
Adding user `hduser' to group `sudo' ...
Adding user hduser to group sudo
Done.

為了防止以後用hduser使用sudo時候遇到如下錯誤:

hduser is not in the sudoers file.  This incident will be reported.
需要用visudo命令編輯檔案/etc/sudoers, 新增一行
# Uncomment to allow members of group sudo to not need a password
# %sudo ALL=NOPASSWD: ALL
hduser ALL=(ALL) ALL

退出root使用者,用hduser登入。

ssh [email protected]

為了避免安裝指令碼提示認證,下面的命令將建立localhost訪問的證書檔案
[email protected]:~$ ssh-keygen -t rsa -P ''
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hduser/.ssh/id_rsa): 
Created directory '/home/hduser/.ssh'.
Your identification has been saved in /home/hduser/.ssh/id_rsa.
Your public key has been saved in /home/hduser/.ssh/id_rsa.pub.
The key fingerprint is:
b8:b6:3d:c2:24:1f:7b:a3:00:88:72:86:76:5a:d8:c2 [email protected]
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|                 |
|ooo    .         |
|=E++  . S        |
|oo=.. o.         |
| .  .=oo         |
|     o=o+        |
|      o+.o       |
+-----------------+
[email protected]:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[email protected]:~$ ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is fb:a8:6c:4c:51:57:b2:6d:36:b2:9c:62:94:30:40:a7.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 12.04.4 LTS (GNU/Linux 3.2.0-59-virtual x86_64)

 * Documentation:  https://help.ubuntu.com/
Last login: Fri Feb 21 07:59:05 2014 from 192.168.1.5
ssh localhost 如果沒有遇到詢問密碼, 第一次回答一下Yes。就說明上面的設定成功了。
現在執行下面的命令下載和修改檔案許可權
$ cd ~
$ wget http://www.trieuvan.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
$ sudo tar vxzf hadoop-2.2.0.tar.gz -C /usr/local
$ cd /usr/local
$ sudo mv hadoop-2.2.0 hadoop
$ sudo chown -R hduser:hadoop hadoop


相關推薦

Ubuntu使用Hadoop 2.x hdfs超級使用者建立設定

本系列介紹安裝Hadoop 2.2.0 single node。本文介紹的是HDFS的超級使用者hduser的建立過程,HDFS的設計讓啟動namenode的使用者成為超級使用者。首先準備一個虛擬機器,Ubuntu 12.04.4Java環境:[email prot

大資料學習初級入門教程() —— Hadoop 2.x 的安裝、啟動測試

大資料最基礎的就是資料的儲存和計算,而 Hadoop 就是為儲存和計算而生,是最基礎的大資料處理工具。這篇簡單寫寫 Hadoop 2.x 的安裝,啟動和測試。 一、準備環境 大資料環境的部署,一般都是叢集,機器數量為奇數,這裡以 5 臺機器為例,作業系統為 CentOS 6.9_x64;

Hadoop 2.x HDFS使用配置步驟

hdfs-site.xml配置:    1.配置dfs.nameservices:配置叢集唯一名稱,相當於是ZooKeeper的地址    2.配置dfs.ha.namenodes.[nameservicesID]:配置該nameservices下的多個namenode(包括主備namenode)    3.

Hadoop 2.x Hdfs Shell 命令

    簡單介紹下HDFS的shell命令,和Hadoop 1.x差不多 a)        建立檔案目錄:hdfs dfs -mkdir /data04 b)       檢視:    hdfs dfs -ls / c)        上傳檔案:hdfs dfs -pu

Hadoop 2.x常用端口及查看方法

hadoop常用端口一、常用端口組件節點默認端口配置用途說明HDFSDataNode50010dfs.datanode.addressdatanode服務端口,用於數據傳輸HDFSDataNode50075dfs.datanode.http.addresshttp服務的端口HDFSDataNode50475d

Hadoop 2.x簡介

計算框架 擴展性 namenode 背景 在線 目錄 其它 內存 alt Hadoop 2.0產生背景 Hadoop1.0中HDFS和MapReduce在高可用、擴展性等方面存在問題 HDFS存在的問題 NameNode單點故障,難以應用於在線場景 NameNode壓力

Hadoop 2.x 之 HA 簡介

算法 另一個 實現 con nal 數據塊 網絡 內部使用 加載 HA結構圖 HA是用來解決單點故障問題 DN: DataNode,啟動時會往所有的NameNode匯報 NN: NameNode(主 Active(一個) 備 Standby(可以有多個)) Jo

【備忘】小象視訊教程 Hadoop 2.X大資料平臺V3

第1講 :hadoop生態系統以及版本演化 第2講:HDFS 2.0應用場景、原理、基本架構及使用方法 第3講:Yarn應用場景、基本架構與資源排程 第4講: MapReduce 2.0基本原理與架構 第5講 :MapReduce 2.0程式設計實踐(涉及多語言程式設計) 第6講:Hbase應用場

大資料基礎Hadoop 2.x入門

hadoop概述 儲存和分析網路資料 三大元件 MapReduce 對海量資料的處理 思想: 分而治之 每個資料集進行邏輯業務處理map 合併統計資料結果reduce

Hadoop 2.x與3.x 22點比較:3.x將節省大量儲存空間

問題導讀 1.Hadoop3.x通過什麼方式來容錯? 2.Hadoop3.x儲存開銷減少了多少? 3.Hadoop3.x MR API是否相容hadoop1.x?           在這篇文章中,我們將討論Hadoop 2.x與Hadoop

Hadoop 2.xHadoop 3.x之間的功能比較

Hadoop 2.x與Hadoop 3.x之間的功能比較 1.JDK要求 2.HDFS支援糾刪碼 3.YARN Timeline Service版本更新到v.2 4.重寫相關shell指令碼,比如所有指令碼都以hadoop-env.sh為基礎指令碼等等

2Hadoop 2.X 概述及生態系統

Hadoop官網 http://hadoop.apache.org/ Hadoop來源 GFS -> HDFS MapReduce -> MapReduce BigTable -> HBase Common The common utilities

Hadoop 2.x常用埠及檢視方法

一、常用埠 元件 節點 預設埠 配置 用途說明 HDFS DataNode 50010 dfs.datanode.address datanode服務埠,用於資料傳輸 HDFS DataNode 50075

Hadoop 2.X管理與開發(二、資料壓縮與優化)

#Hadoop資料壓縮 資料壓縮 1)MR操作過程中進行大量資料傳輸,就需要對資料進行壓縮 2)壓縮技術能夠有效減少底層儲存(HDFS)讀寫位元組數,提高的網路頻寬和磁碟空間的效率 3)資料壓縮能夠有效節省資源 4)壓縮事MR程式的優化策略 5)通過壓縮編碼對

hadoop-2.X HA的基本原理

1 概述  在hadoop2.0之前,namenode只有一個,存在單點問題(雖然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode這些,但是單點問題依然存在),在hadoop2.0引入了HA機制。hadoop2.0的HA機制官方介紹了有2種方

hadoop 2.X 命令檔案目錄的變化

lll 增加./bin/yarn命令。原來1.x中對JobTracker及TaskTracker的管理,放到了新增的yarn命令中,該命令可以啟動及管理ResourceManager、在每臺slave上面都啟一個NodeManager、執行一個JAR或CLASS檔案、列印需要的classpath、列印應用程式

大資料學習-Hadoop生態章---()HDFS

大資料學習-Hadoop生態章 (一) HDFS 1.1.Hadoop簡介 Hadoop是分散式的系統架構,是Apache基金會頂級金牌專案。 Hadoop實現了一個分散式檔案系統(Hadoop Distributed File System),簡稱HDFS。 Had

從零開始搭建大資料平臺系列之(2.1)—— Apache Hadoop 2.x 偽分散式環境搭建

JDK 版本:jdk 1.7.0_67 Apache Hadoop 版本:Hadoop 2.5.0 1、安裝目錄準備 ~]$ cd /opt/ opt]$ sudo mkdir /opt/modules opt]$ sudo chown beifeng:b

Hadoop 2.X中的依賴Job

需要注意的是:JobControl類實現了Runnable介面,因此需要用一個Thread例項start啟動它,不能直接用run方法 具體程式碼片段見下面: @Override public int run(String[] arg0) throws Exception {

Hadoop 2.x高可用配置

前言 這兩天整理了一下原來寫的各種文件,準備陸陸續續全部寫成部落格,以防文件丟失,第一篇,使用zookeeper來實現Hadoop的高可用 主機規劃 此處有三臺主機,規劃如下: 主機名 P地址 執行程序 hadoop