1. 程式人生 > >Linux系統下安裝Hadoop並測試MapReduce

Linux系統下安裝Hadoop並測試MapReduce

首先我們需要在網上下載Linux系統,我在這次安裝過程中使用的CentOS-7系統

CentOS-7映象檔案下載地址: https://www.centos.org/download/

1.  選擇好自己需要的版本

2.  安裝CentOS系統,並安裝圖形化介面,方便操作

開啟VMware,選擇建立新的虛擬機器

選擇好虛擬機器位置

然後一直點選下一步到安裝完成。

開機後我們選擇第一項,直接安裝

選擇網路和主機名,配置好閘道器

直接點選開啟就好

再選擇上圖中的安裝位置,直接進去點選完成就好,然後點選開始安裝,併為虛擬機器配置密碼。

安裝完成後點選重啟。

接下來安裝圖形化介面,安裝時間比較久。

執行命令: (中途若遇到黑屏無顯示直接敲回車)

yum groupinstall "X Window System"

顯示complete則說明安裝成功

執行命令:yum groupinstall “GNOME Desktop”

輸入startx進行圖形化介面。(可能需要重啟)

 

這樣CentOS安裝就完成了。接下來需要配置jdk

jdk下載地址: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

選擇Linux系統版本的下載。

3.  Jdk的安裝配置

下載好後解壓: tar -zxvf jdk-8u191-linux-x64.tar.gz -C /root/training/     或者   tar -zxvf jdk-8u191-linux-x64.tar.gz

配置環境: vim /etc/profile

在最後面新增:

#java environment

    export JAVA_HOME=/root/training/jdk1.8.0_191

    export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

    export PATH=$PATH:${JAVA_HOME}/bin

4.  Hadoop安裝以配置

下載後解壓: tar -zxvf hadoop-2.9.2.tar.gz -C /root/training/     或則  tar -zxvf hadoop-2.9.2.tar.gz

環境配置: vi ~/.bash_profile

最後面新增:

JAVA_HOME=/root/training/jdk1.8.0_191

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

HADOOP_HOME=/root/training/hadoop-2.9.2

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

讓配置檔案生效: source ~/.bash_profile

 

hadoop本地模式配置:

cd  /root/training/hadoop-2.9.2/etc/hadoop/

vim hadoop-env.sh

mapreduce測試wordcount

cd /root/training/hadoop-2.9.2/share/hadoop/mapreduce/

建立輸入輸出檔案和資料夾

mkdir -p /root/data/input

mkdir -p /root/data/output

vi /root/data/input/data.txt

寫入語段用於測試

hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /root/data/input/data.txt /root/data/output/wc.txt

統計結果

其他兩個也是一樣的語法進行測試

wordmean測試

wordmedian測試

這樣Hadoop本地模式就配置完成了