本科學生綜合性實驗報告

專案組長 學號 成 員 專 業 班級 實驗專案名稱 指導教師及職稱 開課學期 至 學年 學期 上課時間 年 月 日

學生實驗報告(一) 學生姓名 胡曉平 學號 0164639 同組人: 黎鑫 陳強 劉汝文 實驗專案 Hadoop大資料處理技術 □必修 ■選修 □演示性實驗 □驗證性實驗 ■操作性實驗 □綜合性實驗 實驗地點 W101 實驗儀器臺號 指導教師 張志兵 實驗日期及節次 一、實驗綜述 1、實驗目的及要求 目的：安裝分散式環境Hadoop環境。 2、實驗儀器、裝置或軟體 儀器裝置：電腦一臺 工具：虛擬機器（VMware、VirtulBox） 二、實驗過程（實驗步驟、記錄、資料、分析） 1安裝VMware 2安裝CentOS6.5虛擬機器

等待安裝完成

3安裝jdk 1.右鍵Open in Terminal進入編輯介面

2.su 輸入密碼123456

3.執行cd /etc vi sudoers

4.按i進入Insert模式 在root ALL=(ALL) ALL的下一行插入 van ALL=(ALL) ALL

按ESC退出INSERT模式。按下Shift和:,進入命令輸入，執行wq!強制退出並儲存 5.建立hadoop資料夾 cd mkdir hadoop

6.將jdk複製到虛擬機器桌面上 cp jdk-7u79-linux-x64.tar.gz /root/hadoop/jdk-7u79-linux-x64.gz複製jdk到hadoop資料夾下並重命名為jdk-7u79-linux-x64.gz ls 檢視hadoop中是否有該檔案

7.解壓jdk-7u79-linux-x64.gz cd cd hadoop tar -zxvf jdk-7u79-linux-x64.gz

8.進入profile配置檔案 gedit /etc/profile

在最後一行新增以下指令： export JAVA_HOME=/root /hadoop/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 儲存後關閉，執行命令使之生效 source /etc/profile

檢查jdk是否安裝成功 Java -version

4建立叢集 1.克隆兩臺虛擬機器

2.對三臺虛擬機器執行 su vi /etc/sysconfig/network重新命名

ESC退出INSERT模式後wq儲存退出，reboot重啟 3.將三臺虛擬機器IP互相連線 ifconfig檢視IP

在master中執行 su cd /etc gedit /etc/hosts

編輯內容為

在master中執行 scp /etc/hosts [email protected]:/etc/ scp /etc/hosts [email protected]:/etc/ 將hosts複製到slave1和slave2中對應的資料夾

在master中執行ping -c 3 slave1 Ping -c 3 slave2檢查虛擬機器是否互聯

4.配置SSH無金鑰登入 對每個虛擬機器執行 su chkconfig iptables off關閉防火牆後reboot重啟 關閉後在master中執行 cd ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa cd .ssh cat id_rsa.pub >> authorized_keys chmod 600 authorized_keys scp authorized_keys [email protected]:~/.ssh/ scp authorized_keys [email protected]:~/.ssh/

檢查無金鑰登入是否成功 ssh slave1 ssh slave2 ssh master

5.安裝配置hadoop-2.6.5 將hadoop-2.6.5.tar.gz複製到虛擬機器桌面上，使用命令cp hadoop-2.6.5.tar.gz /root/hadoop/hadoop-2.6.5.tar.gz將其複製到hadoop資料夾中並命名為hadoop-2.6.5.tar.gz

解壓hadoop-2.6.5.tar.gz cd cd hadoop tar -zxvf hadoop-2.6.4.tar.gz

對hadooop-env.sh進行配置 在最後一行新增:export JAVA_HOME=/root /hadoop/jdk1.7.0_79

對core-site.xml進行配置 fs.default.name hdfs://master:9000 true hadoop.tmp.dir /root /hadoop/tmp ds.default.name hdfs://master:54310 true

對hdfs-site.xml進行配置 dfs.namenode.name.dir file:/home/wxx/hadoop/dfs/name true dfs.datanode.data.dir file:/root/hadoop/dfs/data true dfs.replication 2

執行mv mapred-site.xml.template mapred-site.xml更改檔名後 對mapred-site.xml進行配置 mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888

對yarn-site.xml進行配置 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.hostname master yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088

在master中新增程式碼master

在slaves中新增程式碼 master slave1 slave2

將配置好的檔案複製到slave1和slave2中 scp -r hadoop-2.6.5 slave1:~/hadoop scp -r hadoop-2.6.5 slave2:~/hadoop

啟動叢集 cd cd hadoop/hadoop-2.6.4 bin/hdfs namenode -format // 格式化namenode sbin/start-dfs.sh sbin/start-yarn.sh sbin/hadoop-daemon.sh start secondarynamenode

檢查叢集情況 先重啟ssh，/sbin/service sshd restart Master中

Slave1中

Slave2中

在slave1和slave2中執行yum install java-1.8.0-openjdk-devel.x86_64安裝openjdk-devel包

瀏覽器進入localhst:50070

訪問master:8088

三、結論 1、實驗結果 2、分析討論   四、指導教師評語及成績： 評語：

成績： 指導教師簽名： 批閱日期：