Hadoop下載

Apache官網下載地址：http://hadoop.apache.org/releases.html

選binary

Hadoop安裝

1.通過windows掛載硬碟將檔案複製到Linux下。

2.然後解壓Hadoop：tar -xvzf  hadoop.tar.gz

3.配置Hadoop系統引數：

sudo nano /etc/environment

內容如下：例

JAVA_HOME=/usr/soft/jdk1.8.0_151
HADOOP_INSTALL=/usr/soft/hadoop-3.0.0
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_151/bin:/usr/soft/hadoop-3.0.0/bin:/usr/soft/hadoop-3.0.0/sbin"

4.快速更新

source environment

5.檢視版本

hadoop version

處理海量資料

1.儲存

分散式檔案系統：HDFS，Hadoop  distributed file system

2.運算

MapReduce，map() + reduce

Hadoop配置：

1.獨立模式

2.偽分散式

ssh登陸遠端主機，無口令提示

sudo apt-get install shh

ssh-keygen  -t  rsa  -P  ''  -f   ~/.ssh/id_rsa

cat  id_rsa.pub  >>  ~/.ssh/authorized_keys

ssh localhost //第一次yes

exit

ssh  localhost //第二次不需要口令

3.完全分散式

Hadoop使用：

參考：http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html