安裝Hadoop單節點叢集

• 1. 下載並解壓Hadoop
• 1.1 下載Hadoop
• 1.2 解壓Hadoop包
• 1.3 將解壓的資料夾重新命名為Hadoop,然後拷貝到/usr/local下
• 2. 設定Hadoop環境變數
• 2.1 開啟.bashrc檔案
• 2.2 在檔案裡後面新增如下配置
• 2.3 讓配置立即生效
• 3. 修改Hadoop配置檔案
• 3.1 修改hadoop-env.sh
• 3.2 修改core-site.xml
• 3.3 修改yarn-site.xml
• 3.4 修改mapred-site.xml
• 4. 建立並格式化HDFS目錄
• 4.1 在hadoop下新建hadoop_data/hdfs資料夾,在hdfs下新建namenode和datanode資料夾
• 4.2 將hadoop目錄的所有者改為當前使用者(winter)
• 4.3 在hdfs-site.xml新增配置
• 4.4 將HDFS格式化
• 5. 啟動Hadoop

1. 下載並解壓Hadoop

1.1 下載Hadoop

從Hadoop官網上下載,他會推薦我們從清華的映象下載,這裡我選擇2.9.1版本

1.2 解壓Hadoop包

$ tar -zxvf hadoop-2.9.1.tar.gz 

1.3 將解壓的資料夾重新命名為Hadoop,然後拷貝到/usr/local下

2. 設定Hadoop環境變數

2.1 開啟.bashrc檔案

$ sudo gedit ~/.bashrc

2.2 在檔案裡後面新增如下配置

export JAVA_HOME=/usr/lib/jdk/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
 

2.3 讓配置立即生效

$ source ~/.bashrc

3. 修改Hadoop配置檔案

在hadoop目錄下有etc資料夾,etc裡有hadoop子資料夾,這個裡面放的是hadoop的配置檔案

3.1 修改hadoop-env.sh

將原來的export JAVA_HOME=${JAVA_HOME},改成自己本機的jdk路徑

3.2 修改core-site.xml

新增如下配置

<configuration>
    <property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.3 修改yarn-site.xml

新增如下配置

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

3.4 修改mapred-site.xml

之前只有mapred-site.xml.template這個檔案,複製一個這個,並重命名為mapred-site.xml,新增如下配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4. 建立並格式化HDFS目錄

4.1 在hadoop下新建hadoop_data/hdfs資料夾,在hdfs下新建namenode和datanode資料夾

$ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
$ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

4.2 將hadoop目錄的所有者改為當前使用者(winter)

$ sudo chown winter:winter -R /usr/local/hadoop

4.3 在hdfs-site.xml新增配置

<configuration>
    <property>
		<name>dfs.replication</name>
		<value>3</value>
    </property>
    <property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
    </property>
    <property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
    </property>
</configuration>

4.4 將HDFS格式化

$ hadoop namenode -format

5. 啟動Hadoop

#啟動HDFS
$ start-dfs.sh

#啟動MapReduce框架 YARN
$ start-yarn.sh

輸入jps命令檢視已經啟動的程序

http://localhost:8088

http://localhost:50070