一、三節點Hadoop叢集搭建步驟

1.下載Docker映象

sudo docker pull kiwenlau/hadoop:1.0

2.下載GitHub倉庫

git clone https://github.com/kiwenlau/hadoop-cluster-docker

3.建立Hadoop網路

sudo docker network create --driver=bridge hadoop

4.執行Docker容器

cd hadoop-cluster-docker
./start-container.sh

執行結果

start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~#
 

啟動了3個容器，1個master, 2個slave
執行後就進入了hadoop-master容器的/root目錄

5.啟動hadoop

./start-hadoop.sh

1. 執行wordcount

./run-wordcount.sh

執行結果

input file1.txt:
Hello Hadoop
input file2.txt:
Hello Docker
wordcount output:
Docker  1
Hadoop  1
Hello   2

二、N節點Hadoop叢集搭建步驟

1.準備
參考第一部分1~3：下載Docker映象，下載GitHub倉庫，以及建立Hadoop網路

2.重新構建Docker映象

./resize-cluster.sh 5

3.啟動Docker容器

./start-container.sh 5

4.執行Hadoop
參考第一部分5~6：啟動Hadoop，並執行wordcount。