在阿里雲中搭建大資料實驗環境

第4步：在雲伺服器Ubuntu 16.04.4 LTS中安裝Hadoop2.9.2

https://www.cnblogs.com/87hbteo/p/7606012.html

一、更新apt

用liuxv使用者登入後，先更新apt，能使apt安裝以後要使用的軟體

sudo apt-get update

二、 安裝SSH，配置SSH無密碼登陸

1、Ubuntu預設已經安裝了SSH client，此外還需安裝SSH Server

sudo apt-get install opensh-server

2、安裝後，用如下命令登陸本機：

$ssh localhost

3、改成無密碼登陸

exit #首先退出剛才的SSH

cd ~/.ssh/

ssh-keygen -t ras #利用ssh-keygen生成金鑰

cat .lib_rsa.pub >> ./authorized_keys  #加入授權

再輸入ssh localhost即可無密碼登陸

三、安裝hadoop

1、通過MobaXterm把Hadoop安裝包傳到/home/liuxv/Downloads中

2、解壓到/usr/local中

cd ~

sudo tar -zxf ~/Downloads/hadoop-2.9.1.tar-gz -C /usr/local

cd /usr/local

sudo mv ./hadoop-2.9.1/ ./hadoop

#將資料夾改為hadoop

sudo chown -R liuxv:liuxv ./hadoop

#修改檔案許可權

3、給Hadoop配置環境變數

sudo vim ~/.bashrc

新增如下程式碼

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 

然後儲存退出，執行

source ~/.bashrc

使配置生效

再檢視是否安裝成功：

hadoop version

四、Hadoop偽分散式配置

1、首先將jdk的路徑新增到、usr/local/hadoop/etc/hadoop/hadoop-env.sh檔案中:

新增程式碼：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191

2、修改配置檔案core-site.xml和hdfs-site.xml

core-site.xml:

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

hdfs-site.xml:

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

配置完成後，執行 NameNode 的格式化

$ ./bin/hdfs namenode -format

啟動namenode和datanode程序，並檢視啟動結果

$ ./sbin/start-dfs.sh
$ jps

啟動完成後，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下程序: “NameNode”、”DataNode” 和 “SecondaryNameNode” 

如果要停止Hadoop，可以使用如下命令：

cd /usr/local/hadoop

./sbin/stop-dfs.sh