1、Rest服務

　　Spark源為了方便用戶對任務做監控，從1.4版本啟用Rest服務，用戶可以通過訪問地址，得到application的運行狀態。

　　Spark的REST API返回的信息是JSON格式的，開發者們可以很方便地通過這個API來創建可視化的Spark監控工具。目前

2、實例代碼（Python）

 1 #!/usr/bin/env python
 2 # -*- coding: utf-8 -*-
 3 ‘‘‘
 4     Created by zhangy on Aug 25, 2017
 5 ‘‘‘
 6 import datetime
 7 import json, urllib2
 8 import os
 9 import time  
10 
11
12 if __name__ == ‘__main__‘:
13     command = "yarn application -list |grep Noce |awk -F‘\t‘ ‘{print $1}‘"
14     val = os.popen(command).read()
 
15     appids = val.split("\n")
16     for pid in appids:
17         if pid.__eq__(""):continue
18         url = "http://th04-znwg-sgi620-001:18088/api/v1/applications/" + pid
19         req = urllib2.Request(url)
20         res_data = urllib2.urlopen(req)
21         res = res_data.read()
22         jo = json.loads(res)
 
23         dict1 = jo[‘attempts‘][0]
24         st = dict1[‘startTime‘]
25         GMT_FORMAT = ‘%Y-%m-%dT%H:%M:%S.%fGMT‘
26         sti = datetime.datetime.strptime(st, GMT_FORMAT)
27         startTime = time.mktime(sti.timetuple()) + 8 * 60 * 60
28         nowTime = long(time.time())
29         sub = nowTime - startTime
30         if sub > 4 * 60 * 60:
31             killCommand = "yarn application -kill " + pid
32             res = os.popen(command).read()
33             cc = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(float(nowTime)))
34             f = open("/home/noce1/run_noce/his/monitor/" + pid + ".txt", "a")
35             f.write(cc + " : " + "pid ： " + "\n" + sub + " seconds")
36             f.write(res + "\n")
37             f.close()
38         
39         
40         

　　測試實例中，只是對spark任務的時間做了監控，如果任務超過理想執行時長（4個小時），則終止任務，釋放資源。

　結果：

 1 例如：
 2 http://132.12*****:18088/api/v1/applications/application_1502706935975_233268/
 3 
 4 返回內容：json格式
 5 {
 6   "id" : "application_1502706935975_233268",
 7   "name" : "FRT3_73",
 8   "attempts" : [ {
 9     "startTime" : "2017-09-04T01:29:53.986GMT",
10     "endTime" : "2017-09-04T01:31:52.955GMT",
11     "sparkUser" : "noce1",
12     "completed" : true
13   } ]
14 }

3、官方其他（2.1.0版本，http:**** :18080/api/v1/）

通過Spark Rest 服務監控Spark任務執行情況