Linux系統下安裝Hadoop並測試MapReduce
首先我們需要在網上下載Linux系統,我在這次安裝過程中使用的CentOS-7系統
CentOS-7映象檔案下載地址: https://www.centos.org/download/
1. 選擇好自己需要的版本
2. 安裝CentOS系統,並安裝圖形化介面,方便操作
開啟VMware,選擇建立新的虛擬機器
選擇好虛擬機器位置
然後一直點選下一步到安裝完成。
開機後我們選擇第一項,直接安裝
選擇網路和主機名,配置好閘道器
直接點選開啟就好
再選擇上圖中的安裝位置,直接進去點選完成就好,然後點選開始安裝,併為虛擬機器配置密碼。
安裝完成後點選重啟。
接下來安裝圖形化介面,安裝時間比較久。
執行命令: (中途若遇到黑屏無顯示直接敲回車)
yum groupinstall "X Window System"
顯示complete則說明安裝成功
執行命令:yum groupinstall “GNOME Desktop”
輸入startx進行圖形化介面。(可能需要重啟)
這樣CentOS安裝就完成了。接下來需要配置jdk
jdk下載地址: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
選擇Linux系統版本的下載。
3. Jdk的安裝配置
下載好後解壓: tar -zxvf jdk-8u191-linux-x64.tar.gz -C /root/training/ 或者 tar -zxvf jdk-8u191-linux-x64.tar.gz
配置環境: vim /etc/profile
在最後面新增:
#java environment
export JAVA_HOME=/root/training/jdk1.8.0_191
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
4. Hadoop安裝以配置
下載後解壓: tar -zxvf hadoop-2.9.2.tar.gz -C /root/training/ 或則 tar -zxvf hadoop-2.9.2.tar.gz
環境配置: vi ~/.bash_profile
最後面新增:
JAVA_HOME=/root/training/jdk1.8.0_191
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
HADOOP_HOME=/root/training/hadoop-2.9.2
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
讓配置檔案生效: source ~/.bash_profile
hadoop本地模式配置:
cd /root/training/hadoop-2.9.2/etc/hadoop/
vim hadoop-env.sh
mapreduce測試wordcount
cd /root/training/hadoop-2.9.2/share/hadoop/mapreduce/
建立輸入輸出檔案和資料夾
mkdir -p /root/data/input
mkdir -p /root/data/output
vi /root/data/input/data.txt
寫入語段用於測試
hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /root/data/input/data.txt /root/data/output/wc.txt
統計結果
其他兩個也是一樣的語法進行測試
wordmean測試
wordmedian測試
這樣Hadoop本地模式就配置完成了