十三.Spark SQL之通過Zeppelin進行統計資料的展示
Spark SQL學習有一段時間了,因此花了一些時間寫了一個日誌清洗的專案,專案已經上傳到github上了, 專案地址感興趣的可以拉下來看看。
在這裡我不講關於專案的實現過程,清洗之後的結果進行資料展示的時候,除了echarts框架,還發現了另外一種資料展示工具Zeppelin。下面就介紹一下: Apache Zeppelin 是一個讓互動式資料分析變得可行的基於網頁的開源框架。Zeppelin提供了資料分析、資料視覺化等功能。 Zeppelin 是一個提供互動資料分析且基於Web的筆記本。方便你做出可資料驅動的、可互動且可協作的精美文件,並且支援多種語言,包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等,下面就開始實際操作。
第一步.下載Zeppelin的二進位制原始碼包
wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8.0/zeppelin-0.8.0-bin-all.tgz
大約有七百多兆,然後解壓:
tar -zxvf zeppelin-0.8.0-bin-all.tgz -C ~/app/
進入到解壓之後的目錄中的bin目錄下,進行啟動:
./zeppelin-daemon.sh start
然後可以通過jps命令進行檢視: 然後就可以在瀏覽器中輸入一下命令開始進行操作:
http://伺服器ip:8080
會顯示以下圖形化介面:
第二步.連線配置
在瀏覽器介面的右上角,有下圖所示的可操作按鈕,點選interpreter:
在出現的介面中搜索jdbc,然後點選右側有一個edit的按鈕進行連線jdbc的引數的修改:
修改完成之後在下面進行儲存,接下來就開始進行操作了.在Notebook中建立一個新的note:
隨便填入Note的名字.Default Interpreter要選擇jdbc,因為此次是為了獲取存在mysql中清洗之後的結果.
開啟之後可以進行sql語句的處理了:
然後就開始看他的強大之處了,就是可以根據查到的資料自動進行圖形化的展示,其中有表的形式進行展示,著柱狀圖的形式,餅圖的形式:
點選柱狀圖按鈕: 點選餅圖按鈕:
至此就完成了Zeppelin的使用,想要了解更多可以參考官網進行學習。