從零開始的Hadoop大資料叢集(偽)搭建,全免費VirtualBox虛擬機器Ubuntu版,學習向,超詳細---(一)
在公司工作了一段時間了,大資料平臺都是公司的運維人員搭建維護的,自己也想親自搭建一套,純粹為了學習和提高自己,也為了以後自己研究用。公司的環境不太適合亂來,自己的就可以隨意玩了。
寫這個也是為了記錄自己學習的過程,同時給大家提供一個參考,想要學習大資料的也可以嘗試。
本文所有內容均為原創,都是自己親自嘗試成功才敢發出來的,真實有效。
先說說環境吧:
1、系統:Windows10 64位。CPU i7,16G記憶體。
2、虛擬機器:VirtualBox。看到網上很多人都是Vmware,其實我想說,與其費盡心思去弄破解版的Vmware,還要面對各種植入病毒,破解BUG,破解後各種執行問題和缺陷,真的不如直接使用VirtualBox更好,其實對大部分人來說,功能沒差多少,而且Oracle出品,最關鍵是免費!免費!免費!你不用花多餘的心思浪費在找破解軟體上,還不會搞壞你的系統。而且特別輕量,沒有多餘的亂七八糟的影響系統性能的東東。(說多了,我不是Oracle的員工)
3、Linux:Ubuntu 18.04 * 5個。同理,中國大部分公司生產環境都是RedHet系的,無非RedHet和CentOS。我就非要用Ubuntu。
4、免費版Xshell 6和Xftp 6 。對,又是免費的。
5、hadoop 2.8.5 。寫這篇文章的時候3應該已經出了好久了。但是2還是好用的。
下面開始基本的環境準備吧。本篇內容先是如何搭建出一個5臺Ubuntu虛擬機器的伺服器叢集。
當然了,如果你的記憶體是8G,那麼建議搭建3臺虛擬機器就夠了。
一、安裝Oracle VM VirtualBox
這個自己去百度一下官網,下載完成之後自己安裝就好。簡單提一下,要使用虛擬機器,必須首先開啟Intel虛擬化技術(現在基本CPU都支援,AMD不清楚),要進入BIOS根據自己的主機板自行修改,很多主機板預設是不開啟的。
然後安裝好之後,執行VirtualBox,介面看起來是這樣的。
二、下載Ubuntu 18.04 。注意一定要下載Server版。不要下載Desktop版和Cloud版。(因為我不會)
下載完成之後看起來是這樣的。
三 、安裝Ubuntu
1、在VirtualBox上點選新建。然後如圖
2、點選下一步,然後分配記憶體。這裡給2048M就好。後期自己可以調整。
3、 然後選擇建立虛擬硬碟。
4、選擇VDI。(推薦)下一步
5、 選擇動態分配。下一步
6 、輸入20GB就OK。如果你硬碟很大,那就可以更大點。
7、然後可以在左邊,看到多了一個虛擬機器。
8、直接雙擊執行, 然後選擇你剛才下好的烏班圖映象。如圖。
9、 點選啟動,等待載入完畢。然後進入這個介面。
10、一直下一步就好!(按回車)基本沒什麼需要你去改的。直到進入這一步:(廢話一句,VirtualBox切回滑鼠的按鍵是右邊的Crtl)
11 然後Continue。 進入這個介面,輸入以下:
12 等待安裝完畢。選擇reboot now,等待重啟。(還要按一下回車,注意提示)
13 重啟完成之後,登陸你剛才的賬號密碼。我使用的是test,登陸之後如圖:
四 、系統初步適應
由於我們使用Ubuntu系統,和RedHet系還是有很多區別的。首先烏班圖預設不適用ROOT賬號,這對於我們來說有很多不方便(學習的時候使用ROOT賬號可以省去很多麻煩,在公司的生產環境請勿這樣使用。)所以先修改一些東西,讓系統適應我們。
加一個注意:本文的所有操作都是為了快速搭建學習環境而簡化,正式環境請勿這樣。
1、設定root密碼
執行命令:sudo passwd root
分別輸入test密碼,root密碼,root密碼確認。
然後:su root
切換到root賬號。
2、設定root許可權ssh登陸
執行命令:vim /etc/ssh/sshd_config
找到PermitRootLogin這一行,修改為yes。並且去掉#號,看起來是這樣的:
改為:
然後wq儲存。接著關機。執行 shutdown -h now
或者直接右上角關閉。
選擇正常關閉。OK
五、使用SSH登陸虛擬機器
一般來說,我們都是通過SSH登陸伺服器進行相關操作。而要連線到虛擬機器,也有很多方式。
1 設定
首先在剛才建好的虛擬機器上點右鍵,然後設定。如圖。
2、網路
選擇網路, 然後可以看到如下圖:
3 、選擇
熟悉Vmware的應該都很清楚這幾種。我這裡主要說一下這2個:
(1)橋接網絡卡,使用這種方式,你的虛擬機器會出現在你的局域網裡。比如你有一個路由器,連線了2個裝置,並且啟用了DHCP自動分配IP地址。你的路由器地址是192.168.1.1,那麼按照DHCP地址池設定,你的電腦連線了路由器,IP可能就是192.168.1.100這樣(根據路由器品牌會有很大差異),你的手機連線了路由器,IP可能就是192.168.1.101。而你的虛擬機器啟動了,就會是192.168.1.102。
這種方式好處就是,你的虛擬機器也能輕鬆連線外網(網際網路)!你局域網裡的其他裝置可以很方便的訪問你的虛擬機器!
(2)僅主機host-only網路(本文的方式)
然而我們選擇下面的方式。如圖:
點選OK,然後再次啟動虛擬機器!
4、檢視ip
使用root登陸,然後輸入命令:
ifconfig
可以看到你的IP地址。如圖所示:
如果 你看不到IP,那麼很可能你的host-only網路的dhcp沒開啟。解決方法如下:
開啟 選單欄的管理,主機網路管理器。
看看 DHCP伺服器勾上沒有,如果沒有,那就勾上,然後重啟你的虛擬機器。
5、使用xshell登陸虛擬機器。
開啟xshell(如果沒有,去官網下載一個教育版,免費的。)
輸入ssh 192.168.56.3(你剛才查詢到的IP地址。每個人不一樣。)
然後使用root賬號登陸。
到此,我們第一臺hadoop伺服器搭建完畢。