1. 程式人生 > >關於在真實物理機器上用cloudermanger或ambari搭建大資料叢集注意事項總結、經驗和感悟心得(圖文詳解)

關於在真實物理機器上用cloudermanger或ambari搭建大資料叢集注意事項總結、經驗和感悟心得(圖文詳解)

寫在前面的話

  (1) 最近一段時間,因擔任我團隊實驗室的大資料環境叢集真實物理機器工作,至此,本人秉持負責、認真和細心的態度,先分別在虛擬機器上模擬搭建ambari(基於CentOS6.5版本)和cloudermanager(基於CentOS6.5或Ubuntu14.04版本)。

  (2)  大資料叢集範圍包括3節點和4節點。本人都嘗試過。

  (3)  安裝搭建包括離線和線上。本人都嘗試過

  (4)  版本包括自定義指定和官方最新版本搭建。本人都嘗試過。

  (5) 大資料叢集節點的增加和刪減。本人都嘗試過。

  (6) 虛擬機器和真實物理機上搭建。本人都嘗試過。

 首先,以下是博主我本人,在虛擬機器裡搭建的ambari(基於CentOS6.5)

  以下是博主我本人,在虛擬機器裡搭建的cloudermanager(基於CentOS6.5)

   以下是博主我本人,在虛擬機器裡搭建的cloudermanager(基於Ubuntu14.04)

   以下是博主我本人,在真實物理機器上搭建的ambari(基於ubuntu14.04)

     這裡,對於企業公司裡,若搭建,角色機器分配可參考

Cloudera Manager5之安裝部署CDH5.X (強烈推薦)

  http://blog.csdn.net/freedomboy319/article/details/44804721

以下是博主我本人,在真實物理機上裡搭建的cloudermanager(基於Ubuntu14.04)!!!

一、關於另開一個使用者給真實物理機器。這一點區別於我們平常在虛擬機器裡搭建。

adduser與useradd的區別

1、虛擬機器搭建

2、真實物理機器搭建

  不能上述虛擬機器裡建立使用者方式了。要如下操作:

  ubuntu和windows一樣,可以任意建立或者刪除新的使用者,windows下比較簡單,ubuntu下需要使用命令,不過操作起來不是很繁瑣,所以我儘量寫的詳細一些。

          如何建立ubuntu新使用者?比如我這裡建立bigdata使用者(root使用者執行)

    方法1:    

 首先開啟終端,輸入:sudo adduser bigdata,系統會提示以下資訊:

           正在新增使用者“bigdata”...

           正在新增新組“bigdata”(1001)...

           正在新增新使用者“bigdata”(1001)到組“bigdata”...

           建立主目錄“/home/bigdata”...

            正在從“/etc、skel”複製檔案...

            輸入新的 UNIX 口令:(我這裡輸入密碼為bigdata)

            重新輸入新的 UNIX 口令:(再次輸入bigdata)

            passwd:已成功更新密碼

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: (回車)
            Room Number []:(回車)
            Work Phone []:(回車)
            Home Phone []:(回車)
            Other []:(回車)
這個資訊是否正確? [Y/n] y

            到了這一步,新使用者已經新增成功了,此時我們可以打 ls /home檢視一下,如果顯示 username bigdata,側代表使用者建立成功。

   比如,我下面建立新使用者oo。

 

 

首先開啟終端,輸入:sudo adduser username,系統會提示以下資訊:

           正在新增使用者“username”...

           正在新增新組“username”(1001)...

           正在新增新使用者“username”(1001)到組“username”...

           建立主目錄“/home/username”...

            正在從“/etc、skel”複製檔案...

            輸入新的 UNIX 口令:(此處大家注意,不是輸入你當前使用者的密碼,而是輸入你要建立新使用者的密碼)

            重新輸入新的 UNIX 口令:(再輸一次即可)

            passwd:已成功更新密碼

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: yangyang (輸入新使用者的名稱)
            Room Number []:
            Work Phone []:
            Home Phone []:
            Other []:
這個資訊是否正確? [Y/n] y

            到了這一步,新使用者已經新增成功了,此時我們可以打 ls /home檢視一下,如果顯示 username yang,側代表使用者建立成功。如圖1所示。

          如何刪除ubuntu使用者?

          ubuntu刪除使用者同樣是在終端下操作的,需要注意的是,如果要刪除的使用者當前已登陸,是刪除不掉的,必須登出掉當前使用者切換為另一個使用者下,才能刪除。舉個例子,剛才我新建立了一個使用者為 yang 的使用者,例如我現在用使用者 yang 登陸了桌面,此時如果我想刪除 yang 這個使用者,是刪除不掉的。正確的操作方法是,我登出掉 yang,然後使用 root 登陸到桌面,再刪除 yang 即可。

          刪除ubuntu使用者的命令比較容易記:sudo userdel username,例如我想刪除 yang ,則輸入:sudo userdel yang,刪除成功後,系統無任何提示。

  後續貼圖

 

 

 

  二、若大家網速還不錯的話,可以線上安裝。若是網速不太好,強烈建議大家離線安裝。(不然網路原因導致中途各種報錯,非常麻煩)

   關於各自,大家是CentOS還是Ubuntu系統,自行可以參考我上述寫的在虛擬機器裡搭建的部落格。

 三、常見錯誤

  四、真實物理機上的一些安裝技巧

  比如,我這裡,是將nssa-sensor1(即192.168.30.1)下載和搭建好。

  在/opt/cloudera/下,然後,將整個cloudera目錄拷貝到nssa-sensor2(192.168.30.2)、nssa-sensor3(192.168.30.3)和nssa-sensor4(192.168.30.3)

  即,換句話說,將master/slave1(192.168.30.1)下載和搭建好。然後,將其/opt/cloudera整個目錄,拷貝給slave2(192.168.30.2)、slave3(192.168.30.3)和slave4(192.168.30.4)。

  這裡,我至於為什麼要搭建4節點,是因為符合中國高校的實情,需要做加速比效能分析。(這是潛規則)

  小例子:比如,現在,我還有nssa-sensor4(192.168.30.4)還沒拷貝。

  對於,Ubuntu系統裡搭建cloudermanager,其實,可以安裝我們自行的orcal jdk。貼圖為證。

 

  這也是我,為什麼要寫下面的這篇部落格的原因所在,

總結  

  此係列的大資料搭建,為本人嘔心瀝血所寫,經過好一段時間反覆錘鍊和整理修改。以此,記錄我讀研生涯時光的美好記憶!

  感謝所參考的博友們的精彩前輩文章!同時,歡迎前來查閱賞臉的博友們收藏和轉載,附上本人的連結出處。

  大家,若在虛擬機器裡搭建或真實物理機器上搭建,碰到問題,都可以留言評論。歡迎指正,謝謝!

歡迎大家,加入我的微信公眾號:大資料躺過的坑     免費給分享

同時,大家可以關注我的個人部落格

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 

  人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於網際網路和個人學習工作的精華乾貨知識,一切來於網際網路,反饋回網際網路。
  目前研究領域:大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡,每天必須有收穫

       以及對應本平臺的QQ群:161156071(大資料躺過的坑)

 

 

相關推薦

no