1. 程式人生 > >Hadoop cdh版本分散式叢集搭建圖文教程

Hadoop cdh版本分散式叢集搭建圖文教程

有很多想學習大資料的朋友,但苦於找不到系統的學習資料,搭建一個hadoop叢集都要耽擱很多時間。下面我給大家一個搭建大資料的圖文教程。教程中需要用到的軟體和資料我已經準備好了,下面是分享連結,直接下載即可。

連結:http://pan.baidu.com/s/1c1PWFc8 密碼:hytk

注意:下面的配置檔案中出現的“qinke”是我的虛擬機器主機名,必須改成你自己虛擬機器的名字或者你的虛擬機器的ip地址,可以使用hostname命令檢視主機名

將上面連結的軟體現在下來,先安裝vmware10,這個軟體的安裝很簡單,和一般的.exe沒什麼區別,這裡就不浪費篇幅了,不會的同學自己找一下度娘

1、開啟vmware,然後選擇【檔案】下拉選單中選擇【開啟】

 


2、在彈出的路徑選框中定位到下載的“hadoop-linux”資料夾下,選中資料夾下的虛擬機器,點選開啟按鈕


3、點選開啟此虛擬機器


4、第一次開啟會有一個警告,點選【我已移動該虛擬機器】


5、啟動起來之後需要輸入使用者名稱和密碼,這裡為了方便起見,我直接用root使用者登入,但是在實際生產環境中一般需要建立一個專門管理大資料框架的使用者和使用者組,這裡需要注意一下,密碼是123456


6、登陸進去以後,右鍵,選擇【open interminal】,開啟命令列視窗


7、定位到/usr/software目錄下,可以看到已經準備好的hadoop安裝包,cdh版本的,方便與其他元件整合使用


8、解壓安裝包到當前目錄



ls檢視一下,已經解壓好了,而且jdk我也已經為大家安裝好了

9、接下來可以配置hadoop的配置檔案了,在這裡需要說一下,修改配置檔案最好用notipad修改比較方便,也可以用vi,或者vim命令直接修改,但這樣很慢,而且容易出錯,notipad怎樣遠端修改linux主機上的檔案,下一次再分享,可以關注【大資料之佳】微信公眾平臺,本教程最後面有二維碼,平臺上有更多其他大資料從入門到精通的圖文教程。

首先定位到配置檔案所在目錄



10、修改配置檔案。為方便起見,我們用notipad對配置檔案遠端修改,【大資料之佳】公眾平臺有notipad遠端連線伺服器的教程,新手也可以百度一下,

(1、)首先我們用notipad開啟core-site.xml配置檔案,新增以下配置資訊:

         <property>

                   <name>fs.defaultFS</name>

                   <value>hdfs://qinke:8020/</value>

         </property>

         <property>

                   <name>hadoop.tmp.dir</name>

                   <value>/usr/software/hadoop-2.6.0-cdh5.7.1/tmp</value>

         </property>

                   <property>

                   <name>hadoop.proxyuser.root.hosts</name>

                   <value>qinke</value>

         </property>

                   <property>

                   <name>hadoop.proxyuser.root.groups</name>

                   <value>*</value>

         </property>


這個目錄是檔案系統元資料和檔案資料的存放地址,我們需要建立這些目錄,直接到hadoop的安裝目錄下,建立tmp目錄即可


(2)修改hadoop-env.sh

把java的環境變數新增到配置檔案中


(3)修改mapred-env.sh檔案,將java環境變數新增到檔案中即可


(4)修改mapred-site.xml檔案,配置中沒有這個檔案,我們可以自己建立一個新的檔案,檔名為mapred-site.xml,或者直接將原來的mapred-site.xml.template檔案改名為mapred-site.xml,


在notipad中右鍵點選該檔案,選擇重新命名,如果是直接使用vi或vim命令修改的同學可以在配置檔案目錄下使用命令:mv mapred-site.xml.template mapred-site.xml修改


然後新增如下配置資訊,說明我們使用yarn進行資源管理


(5)修改slaves配置檔案,由於我們只有一臺虛擬機器,只需要把本機的ip地址或者主機名新增到slaves檔案中即可,這裡我們只需要把虛擬機器的ip地址寫上即可,或者主機名

我的主機名是qinke,


(6)修改yarn-env.sh配置檔案,新增java的路徑資訊即可


(7)配置yarn-site.xml檔案,新增以下配置資訊

         <property>

                   <name>yarn.nodemanager.aux-services</name>

                   <value>mapreduce_shuffle</value>

         </property>

         <property>

                   <name>yarn.resourcemanager.hostname</name>

                   <value>qinke</value>

         </property>


到這裡我們的配置資訊就配置好了,接下來初始化檔案系統

11、初始化檔案系統:在hadoop的安裝目錄下使用命令bin/hdfsnamenode –format


初始化過程中會有一些提示資訊,需要你出入大寫的Y,注意一定是大寫的Y,以前的版本用同學輸入小寫的y死活初始化不了,他沒注意這個細節,不知道現在的版本有沒有解決的這個問題,大家還是輸入大寫的Y保險一點


回車以後就可以看到初始化成功還是失敗的提示資訊了


到這裡我們的hadoop為分散式叢集就搭建好了

下面我們來啟動namenode,datanode看看,


Namenode成功啟動了,再來啟動datanode,


啟動yarn和其他元件



全部啟動成功,下面是【大資料之佳】的微信公眾號二維碼,上面有更多的大資料圖文教程

也可以新增我的個人微信賬號【tenggeliwolf】一起交流學習


相關推薦

Hadoop cdh版本分散式叢集搭建圖文教程

有很多想學習大資料的朋友,但苦於找不到系統的學習資料,搭建一個hadoop叢集都要耽擱很多時間。下面我給大家一個搭建大資料的圖文教程。教程中需要用到的軟體和資料我已經準備好了,下面是分享連結,直接下載即可。 連結:http://pan.baidu.com/s/1c1PW

linux hadoop完全分散式叢集搭建圖文詳解

一.前期準備 1.1 Win7官網下載hadoop包 本文使用版本hadoop-2.6.5.tar.gz 1.2 配置jdk 1.3 centos7叢集伺服器 主機名 系統

Hadoop分散式叢集搭建完全教程

Hadoop分散式叢集環境搭建步驟如下 實驗環境: 系統:win7 記憶體:8G(因要開虛擬機器,記憶體建議不低於8G) 硬碟:建議固態 虛擬機器:VMware 12 Linux:Centos 7 jdk1.7.0_67 hadoop-2.5.0

Hadoop-2.8.4版本 分散式叢集搭建

Hadoop分散式叢集搭建 建立虛擬機器(用VmWare工具,centos6) 克隆三臺機器 master slaver1 slaver2 分別在每臺機器上安裝jdk >= 1.7版本 vim  /etc/profile 四、同步三臺虛擬機器的時間(時間

Hadoop單機/偽分散式叢集搭建(新手向)

此文已由作者朱笑笑授權網易雲社群釋出。 歡迎訪問網易雲社群,瞭解更多網易技術產品運營經驗。 本文主要參照官網的安裝步驟實現了Hadoop偽分散式叢集的搭建,希望能夠為初識Hadoop的小夥伴帶來借鑑意義。 環境: (1)系統環境:CentOS 7.3.1611 64位 (2)J

QT5.3新版本+VS2010平臺搭建圖文教程

Qt類似MFC,也是一個SDK開發包,他的優勢是跨平臺。Qt很接近原生態的C++,語法簡捷明瞭。在嵌入式開發還是比較有優勢的。它提供給應用程式開發者建立藝術級的圖形使用者介面所需的所用功能。Qt是完全面向物件的,很容易擴充套件,並且允許真正地元件程式設計。 QT5.2新

Hadoop》之"踽踽獨行"(七)Hadoop的偽分散式叢集搭建

在上一章我給大家介紹了Hadoop的單節點叢集本地模式的搭建,在這一章中,我們來了解一下Hadoop偽分散式叢集的搭建與用途。 一、Hadoop偽分散式叢集(pseudo distributed cluster) 1、簡介 hadoop的pseudo distributed&n

hadoop+hbase+zookeeper 分散式叢集搭建完美執行

備註:      搭建完(hadoop+hbase)整個叢集是能夠完美的執行,其中期間出過些小問題,如有一臺機器和其他機器時間相差很遠,結果是HRegionServer啟動的時候超時,這個時候要麼時間同步,或者在配置檔案中新增相應的引數      我所在的實驗室,整個叢集是

Hadoop 分散式叢集搭建

1 修改配置檔案 1.1 hadoop-env.sh export JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64 1.2 core-site.xml <property> <name>fs.def

大資料之Hadoop學習(環境配置)——Hadoop分散式叢集搭建

title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分

史上最簡單詳細的Hadoop完全分散式叢集搭建

一.安裝虛擬機器環境 Vmware12中文官方版 連結:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼:6rep 啟用祕鑰:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了,只需要不斷點選下

vmware centos hadoop分散式叢集搭建 粗略筆記

初始設定: 虛擬了三個CentOs系統(安裝CentOs的步驟省略),一臺master 兩臺slave,使用者名稱全部為hadoop,具體如下(除了第一步使用root使用者操作,其他均使用hadoop使用者): 1.新增hadoop使用者 第一步:grou

Centos 7下Hadoop分散式叢集搭建

    一、關閉防火牆(直接用root使用者) #關閉防火牆 sudo systemctl stop firewalld.service #關閉開機啟動 sudo systemctl disable firewalld.service 二、修改每臺主機

Hadoop分散式叢集搭建方法(Version: java 1.8+CentOS 6.3)

夏天小廚 前言 大資料這個概念,說的通俗點就是對海量資料的處理分析。據不完全統計,世界百分之九十的資料都由近幾年產生,且不說海量資料的ETL,單從資料的儲存和資料展現的實時性,傳統的單機就已經無法滿足實際場景的需要例如很多OLAP系統。由此引出了Hadoop,Hadoop

Hadoop最完整分散式叢集環境搭建

分散式環境搭建之環境介紹 之前我們已經介紹瞭如何在單機上搭建偽分散式的Hadoop環境,而在實際情況中,肯定都是多機器多節點的分散式叢集環境,所以本文將簡單介紹一下如何在多臺機器上搭建Hadoop的分散式環境。 我這裡準備了三臺機器,IP地址如下: 192.16

Hadoop-3.1.1完全分散式叢集搭建

一、工作準備 1.虛擬機器 安裝Vmware 安裝CentOs虛擬機器三臺 master 192.168.33.101 slave1 192.168.33.102 slave2 192.168.33.103 2.虛擬機器配置

hadoop-2.7.4-翻譯文件-分散式叢集搭建

安裝簡介 安裝Hadoop叢集通常需要在叢集中的所有機器上進行統一安裝,或者通過適合目標作業系統的打包系統進行安裝。 安裝的要點是對不同的節點分配不同的功能。 其他服務(例如Web App Proxy Server和MapReduce作業歷史記錄伺服器)通常根據負載在專用硬體或共享裝置上

hadoop2.x單機搭建分散式叢集超詳細教程

【前言】 1.個人PC機配置:戴爾,筆記本,記憶體8G,硬碟西數500G,CPU酷睿i5 2.由於工作中需要經常在叢集上做測試,另外我一直想學習大資料,因此結合百度+同事,有了此篇教程,初學者,不足之處,可在下方留言 【準備工作】 下載如下5個軟體: 1.VMw

大資料學習系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive叢集搭建 圖文詳解

引言 在之前的大資料學習系列中,搭建了Hadoop+Spark+HBase+Hive 環境以及一些測試。其實要說的話,我開始學習大資料的時候,搭建的就是叢集,並不是單機模式和偽分散式。至於為什麼先寫單機的搭建,是因為作為個人學習的話,單機已足以,好吧,

hadoop分散式叢集搭建及配置記錄

如果已經走到了需要搭建hadoop偽分散式的環境了,那說明你至少做好了以下三點建立好了自己的虛擬機器,ip、本機名對映、防火牆、安全子系統都已經配置好了下載jdk1.7及以上版本,並配置好了java環境下載hadoop2.7.0及以上版本,並解壓到、opt/modules(自