Spark應用程式執行日誌檢視
比如，Spark應用程式程式碼如下：
defseq(a: Int, b: Int): Int = {
println("seq: " + a + "\t "+ b)
math.max(a, b)
}
defcomb(a: Int, b: Int): Int = {
println("comb: " + a + "\t "+ b)
a + b
}
vardata11= sc.parallelize(List((1, 3), (1, 2), (1, 4), (2, 3)))
data11.aggregateByKey(1)(seq, comb).collect
我要檢視println的日誌的方法：
進入WEBUI頁面：http://192.168.180.156:8085選擇相關的應用程式，在頁面點選表格中Running Applications 的ApplicationID：app-20160520200716-0023
，這時候你可以進入到Spark作業監控的WEB UI介面，比如http://192.168.180.156:8085/app/?appId=app-20160520200716-0023
在頁面中，輸出的日誌有sterr和stdout兩種，在stdout可以檢視程式中輸出的內容。
如果你在程式中使用了println(....)輸出語句，這些資訊會在stdout檔案裡面顯示；其餘的Spark執行日誌會在stderr檔案裡面顯示。
也可以直接進行日誌檔案進行檢視，如：
/home/huangmeiling/lib/spark-1.5.1/work/app-20160520200716-0023/0/stdout
/home/huangmeiling/lib/spark-1.5.1/work/app-20160520200716-0023/0/stderr
例項如下：
點選：stdout
日誌檔案：
轉載請註明出處：