1. 程式人生 > >hadoop生態系統學習之路(十二)cloudera manager的簡單使用

hadoop生態系統學習之路(十二)cloudera manager的簡單使用

最近,忙著辭職和考駕照的事,都沒時間寫部落格了,差點把大資料相關的一些技術都給忘了。不過還好做好歸納整理,能夠快速的恢復起來。其實,筆者發現,學習大資料還是有點小竅門的。首先,最好能有個人指引,有什麼問題都可以問他,因為我僅僅只看視訊、資料等,很難挖掘裡面有價值的東西。另外,我們得多嘗試,多發現問題並解決。其次,一開始我們不要糾結於環境的搭建,等我們對整個hadoop生態系統有一定的瞭解之後,我們再回過看環境的安裝及配置就好多了。
可惜,筆者要辭職了,不然可以待在公司繼續學習spark、storm等技術。但是人在江湖,身不由己。只要有對技術的熱誠,到哪裡都是一樣。
好了,下面給大家介紹下cloudera manager的簡單使用。之前,記得講過如何安裝此圖形化管理工具,然後通過cm安裝我們叢集服務。目前,應該有很多公司開始使用類似這種圖形化安裝工具了,它的遍歷之處不用多說。
下面,筆者將分以下幾個步驟進行介紹:

一、首頁

使用admin/admin登陸後,便可看到此頁面:
這裡寫圖片描述
此頁面展示了所有已啟動的服務以及叢集的效能監控資訊。我們這個叢集環境的版本是CDH5.0.0的,我們也可以使用cm進行線上升級。

二、主機

點選狀態下的主機,可以看到:
這裡寫圖片描述
這裡,我們可以看到所有的節點資訊以及它上面所擁有的角色和它的狀態等資訊。
然後,我們點選“Parcel”可以看到:
這裡寫圖片描述
這裡我們可以下載某些包,對我們的環境或某個服務進行升級。

三、YARN

點選狀態下的YARN可以看到:
這裡寫圖片描述
yarn是hadoop2.x中引入的,在上面可以執行MR以及其他的服務。
web ui提供了兩個圖形介面,首先,我們看下jobHistoryUI,如下:
這裡寫圖片描述


這個就是MR預設的job執行記錄。再來看看resourceManagerUI,如下:
這裡寫圖片描述
這個是YARN提供的application執行記錄。

四、hbase

hbase是一種提供列式儲存結構的服務。我們點選hbase,可以看到:
這裡寫圖片描述
我們可以在狀態摘要看到,hbase安裝後擁有的服務。同時,也可以通過此圖形化介面進行一些相關的配置。
接下來我們看看table statistic,如下:
這裡寫圖片描述
這裡展示了hbase中表的統計資訊。
然後,我們看看hbase web ui,可以看到:
這裡寫圖片描述
我們可以看到表的列族等資訊。

五、hdfs

hdfs,大資料分散式檔案系統,進入後,可看到:
這裡寫圖片描述


我們可以看到hdfs的容量狀況,讀寫的情況。另外,我們進入主節點NameNode,可以瀏覽hdfs中的檔案資訊,可看到:
這裡寫圖片描述

六、 hive

hive是大資料倉庫,點選進入,便可看到:
這裡寫圖片描述
目前,hive好像還沒提供一些對錶資料的圖形化介面,這裡就簡單看一下。

七、impala

記得之前講過impala與hive的區別,一個是在記憶體中運算,用於實時查詢,另一個是啟動MR運算,用於離線查詢。進入impala,可以看到:
這裡寫圖片描述
另外,我們可以點選查詢,可以看到我們在impala-shell執行過的所有命令,如下:
這裡寫圖片描述

八、zookeeper

zookeeper,動物管理,起到協調作用。進入後,便可看到:
這裡寫圖片描述
這裡可以看到的伺服器狀態等資訊。

九、mgmt

這個mgmt是cm自身的服務,點選進去可以看到:
這裡寫圖片描述
這裡可以看到一些事件、主機、報告、提醒等監控服務。
好了,這個cm就簡單介紹到這兒了,筆者也沒使用多久,還有很多位置瞭解不夠,在之後的學習過程中逐步完善。