1. 程式人生 > >Dr.Elephant的安裝及使用

Dr.Elephant的安裝及使用

簡介

“大象醫生”是LinkedIn推出的一款Hadoop和Spark效能調節工具。根據LinkedIn軟體工程師Akshay Rai在其微博中的介紹,這款工具將更好的幫助使用者理解、分析並提高他們的工作效率。

 大象醫生像一個真正的醫生一樣診斷問題的根源,通過簡單的流程圖為使用者剖析問題。此外,你還可以通過大象醫生新增很多啟發式的規則,使其變得更加貼合個人使用習慣。

 據悉,LinkedIn已經將大象醫生應用於多個方面,比如監測流對叢集的影響,理解流執行緩慢的原因,如何調整提高流量,與之前的任務比較執行情況,流程故障排查等。

安裝要點

1. 安裝 Play framework

最新的Play Framework的執行命令為activator,並而不是play。故需安裝Play舊版,我安裝的是2.2.6版。

2. 編譯

報錯

[warn]  [FAILED     ] org.mortbay.jetty#jetty;6.1.26!jetty.zip:  (0ms)
[warn] ==== local: tried
[warn]   /home/asin/SoftWare/play-2.2.6/repository/local/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== activator-launcher-local: tried
[warn]   file:/home/asin/.activator
/repository/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip [warn] ==== activator-local: tried [warn] file:/home/asin/SoftWare/activator-dist-1.3.10/repository/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip [warn] ==== public: tried [warn] http://repo1.maven.org/maven2/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip [warn] ==== typesafe-releases: tried [warn] http://repo.typesafe
.com/typesafe/releases/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip [warn] ==== typesafe-ivy-releasez: tried [warn] http://repo.typesafe.com/typesafe/ivy-releases/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip [warn] ==== Typesafe Releases Repository: tried [warn] http://repo.typesafe.com/typesafe/releases/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip

手動下載包jetty.zip,放在/home/asin/SoftWare/play-2.2.6/repository/local/org.mortbay.jetty/jetty/6.1.26/zips/

3. 部署

[[31merror[0m] play - Specified key was too long; max key length is 767 bytes [ERROR:1071, SQLSTATE:42000]
Oops, cannot start the server.
@7084jd09e: Database 'default' is in an inconsistent state!
    at play.api.db.evolutions.Evolutions$.checkEvolutionsState(Evolutions.scala:193)
    at play.api.db.evolutions.Evolutions$.applyScript(Evolutions.scala:277)

參照Dr.Elephant啟動過程問題彙總 ,設定索引限制解決該問題。但注意首先將之前的資料庫drelephant刪掉重建。

4. 使用

啟動hadoop後,執行示例作業,並沒有在http://localhost:8080/介面看到任何作業記錄。原來JobHistoryServer服務並未啟動,使用如下命令啟動。並使用命令jps檢視是否有JobHistoryServer輸出。

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

更多

參考文章