1. 程式人生 > >Hadoop的基本使用(1)——環境搭建、HDFS的簡單使用

Hadoop的基本使用(1)——環境搭建、HDFS的簡單使用

Hadoop HDFS 簡介

概念:
namenode:負責記錄 資料塊 的分佈情況– 資料元資料資訊
datanode:負責實際儲存 資料塊
block:是Hadoop最小儲存資料單位 預設 128M
secondarynamenode: 輔助namenode完成fsimage管理或者優化

hadoop搭建步驟

環境:

CentOS6.5 32位
JDK 1.7 (在/root/.bashrc下配置環境變數)

CLASSPATH=.
JAVA_HOME=/usr/jdk1.7.0_65
PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH
export
JAVA_HOME export PATH

(注:為了方便訪問關閉防火牆)

配置SSH免密碼登入:

如果想使用A機器免密碼登入B機器
①在A機器上生成 公私鑰對

//生成公私鑰對 -t 演算法【dsa/rsa】 -P 密碼 -f 生成的公私鑰對放在哪
[root@CentOSA ~]# ssh-keygen -t dsa -P '' -f .ssh/id_dsa

②配置本機主機名和ip的對映

[root@CentOSA ~]# vi /etc/hosts
192.168.111.129 主機名

(注:修改主機名/etc/sysconfig/network)

③上傳hadoop-2.X.tar.gz並解壓到/usr目錄下

[root@CentOSA ~]# tar -zxf hadoop-2.6.0.tar.gz -C /usr/

④修改hadoop配置檔案 etc/hadoop/core|hdfs-site.xml,slaves

<!--core-site.xml-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://CentOSA:9999</value>
</property>
<!--hdfs-site.xml 配置的是整個HDFS相關執行引數-->
<property> <name>dfs.replication</name> <value>1</value> </property>
<!--slaves文字檔案 該檔案配置的是datanode的主機名-->
CentOSA

Hadoop(HDFS)的啟動與停止

啟動 hadoop(hdfs):

*注意一般在第一次啟動HDFS的時候我們需要生成namenode所需要的映象檔案fsimage,這個過程一般被稱為–namenode的格式化

格式化namenode

 [root@CentOSA hadoop-2.6.0]# ./bin/hdfs namenode -format

啟動hadoop

[root@CentOSA hadoop-2.6.0]# ./sbin/start-dfs.sh 

附:正常情況會啟動三個程序 namenode,datanode,secondarynamenode

[root@CentOSA hadoop-2.6.0]# jps
1548 DataNode
1458 NameNode
1850 Jps
1743 SecondaryNameNode

停止 hadoop(hdfs):

[root@CentOSA hadoop-2.6.0]# ./sbin/stop-dfs.sh 

Hadoop(HDFS)的shell命令

[root@CentOSA hadoop-2.6.0]# ./bin/hdfs dfsadmin --help
[root@CentOSA hadoop-2.6.0]# ./bin/hefs dfs --help

window下Hadoop開發

window下環境搭建
1.將hadoop-2.6.0.tar.gz解壓在本地的C:/
2.配置HADOOP_HOME環境變數
3.根據系統特徵拷貝winutils.exe 和hadoop.dll檔案到hadoop的 bin
配置系統JRE 要求JDK1.7 並且配置default VM arguments
-DHADOOP_USER_NAME=root

補充:
core-site.xml
fs.trash.interval 開啟回收站