Hadoop 3.1.2 下載安裝和分布式搭建的準備
官方有詳細文檔：https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/SingleCluster.html
我整個配置用的是ubuntu18.04 + java8 + hadoop3.1.2
首先我們可以創建一個hadoop用戶，使用bash作為shell
sudo useradd -m hadoop -s /bin/bash
更改密碼
sudo passwd hadoop
給hadoop管理員權限
sudo adduser hadoop sudo
接下來就登錄在hadoop用戶中操作吧 su
然後我們配置一下ssh
安裝ssh
sudo apt install openssh-server
用 ssh localhost 試試能不能ssh登錄本機，讓後用 exit 登出
如果成攻了，就設置一下免密登錄
cd ~/.ssh/ 移動到.ssh目錄，如果顯示不存在就ssh登錄本機再試下
ssh-keygen -t rsa 一直按回車就行
cat ./id_rsa.pub >> ./authorized_keys 把id_rsa.pub復制到authorized_keys，加入授權
然後就可以ssh登錄本機測試一下能不能免密登錄
接下來安裝jdk，我選擇的是java8
jdk有3種裝法，我就介紹最簡單的一種
直接用apt安裝就好
sudo apt-get install openjdk-8-jdk -C /usr/lib
然後我們配置一下環境變量
在linux中既可以在.bashrc中也可以在profile中配置
我們選擇在 /etc/profile 中配置，在這裏配置會在一開機就對全部用戶生效，如果選擇在 ~/.bashrc 配置，就是當前用戶開啟bash後生效
linux中的路徑用 : 隔開
在文件末尾添加
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$PATH
記得用 source 命令更新一下
接下來就是安裝Hadoop了
由於apt沒有自帶hadoop，我們只能用 wget url 命令來下載在當前目錄
官方url：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2-src.tar.gz
清華鏡像站：http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2-src.tar.gz
選擇一個就好，推薦清華鏡像站，官方的國內下載很慢
解壓
tar -zxvf hadoop-3.1.2.tar.gz -C ~/
我們配置一下hadoop環境在hadoop-3.1.2目錄下的 /etc/hadoop/hadoop-env.sh
按文件裏說的，在JAVA_HOME哪裏添加你的JAVA目錄
我們進入hadoop目錄下檢查一下安裝成功了沒
cd ~/hadoop-3.1.2 進入目錄
./bin/hadoop version 檢查版本
如上界面就是成功了
接下來就可以正式開始配置單機模式，偽分布式，或者完全分布式了
單機模式：在一臺機上，沒有用到分布式系統，多用於測試
偽分布式：在一臺機上，用多個java程序模擬分布式的過程，也就是你在一個機器上配置了hadoop的所有節點
完全分布式：就是最常用的真正的分布式了
Hadoop 3.1.2 下載安裝和分布式搭建的準備