1. 安裝環境

本次使用兩個節點，一個作為master，一個作為slave。兩個虛擬機使用virtualbox。操作系統為ubuntu 64bit server(Ubuntu Server 14.04.1 LTS).

2. 開始架設

先安裝一臺虛擬機，然後復制，修改hostname和mac address就可以直接作為slave使用。

a. 下載ubuntu iso文件。安裝操作系統，大概花費20分鐘。

b. 創建用戶和組。

c. 安裝java。

d. 下載解壓縮hadoop。

e. 配置ssh。

f. 修改hadoop配置文件slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

g. 下載sqoop2並解壓。

h. 修改sqoop2配置文件中的兩項。

i. 復制虛擬機並修改hostname,mac地址。

3. 運行環境

在master機器上運行。

a. hdfs namenode -format

b. start-dfs.sh

c. start-yarn.sh

d. mr-jobhistory-daemon.sh start historyserver

e. sqoop2-server start

4. 使用sqoop2導入sql server數據到hdfs文件系統

a. 運行sqoop2-shell進入交互式客戶端。

　　> set option --name verbose --value true

　　> show connector

　　> create link -c 1

　　> create link -c 3

　　> show link --all

　　> create job -f 1 -t 2

　　> start job -j 1 -s

Hadoop 2.7.2 + Sqoop2 安裝使用