即可安裝完畢

#coding:utf-8 #用於顯示程式碼中的漢字
'''
簡介：
天氣資料獲取指令碼
資料獲取流程(需要條件：環境雲金鑰)：
1.首先在資料庫中讀取需要抓取氣象資料的城市資料，這部分也可以直接在環境雲網站爬取
2.通過環境雲API介面獲取天氣資料
3.對第二步中產生的JSON格式資料進行處理存入到資料庫
'''
import json,sys,urllib2,time,os
import pandas as pd
import cx_Oracle
import datetime

reload(sys)#呼叫setdefaultencoding時必須要先reload一次sys模組
sys.setdefaultencoding('utf8') 

''' 獲取監測站資訊（即城市資訊。
    這裡注意，以廣州為例，廣州分為廣州、番禺、從化、增城、花都等幾部分，
    其中廣州代表了廣州城區。所以這裡使用監測站更準確）
    資料表字段說明
    FID    VARCHAR2(20)    Y            序號
    FSITEID    VARCHAR2(20)    Y            監測站號
    FSITENAME    VARCHAR2(20)    Y            監測站名
    FCITYTYPE    VARCHAR2(20)    Y            行政級別
    FCITY    VARCHAR2(20)    Y            市
    FLON    NUMBER(5,2)    Y            經度
    FLAT    NUMBER(5,2)    Y            緯度
    FABOVESEALEVEL    VARCHAR2(20)    Y            海拔
    FADDRNO    VARCHAR2(20)    Y            地域編碼
    FDATASOURCE    VARCHAR2(20)    Y            資料來源（1為氣候中心資料；2為環境雲資料）
'''
def getsitedata(tablename,datasource):
    sitedata = cur.execute("select fsiteid,fsitename,faddrno from %s where fdatasource = '%s'"%(tablename,datasource))
    sitedata = sitedata.fetchall()#接收全部的返回結果行
    return sitedata

''' 獲取資料
    引數1：監控站
    引數2：開始日期
    引數3：結束日期
    引數4：環境雲key
'''
def getapidata(sitedata,begin_date,end_date,key):

    for site in map(None,sitedata):
        siteid = site[0]#參考getsitedata函式註釋，編號
        sitename = site[1]#名字
        siteaddrno = site[2]#所屬城市
        site_index = pd.Index(site)
        site_index = site_index.get_loc(siteid)#設定編號。
        ''' 這裡或許直接用函式替代none，沒有試過
            def add(num):
            return num + 1
 
            rs = map(add, lt)
        '''
        for querydate in pd.date_range(begin_date,end_date):#拆分成每一天
            querydate = str(querydate)[:10]#不使用時間，只保留日期
            querydate_true = querydate.replace('-','')#將2017-08-17變為20170817
            #24小時歷史天氣。返回結構詳見：http://www.envicloud.cn/pages/guide.html#v2dailyweatherhistory
            headers={'cache-control': "no-cache"}#這行我也不明白
            result='bad'        
            try:
                for hour in range(24):
                    sHour = str(hour)
                    print sHour
                    if (len(sHour) == 1):
                        sHour = "0" + sHour#將小時變為兩位數字

                    url = 'http://service.envicloud.cn:8082/v2/weatherhistory/%s/%s/%s/%s' % (
                        key, siteid, querydate_true,sHour)
                    request=urllib2.Request(url,headers=headers)
                    content=urllib2.urlopen(request,timeout = 3 )
                    content=content.read()
                    data=json.loads(content)
                    #weather_data = pd.DataFrame(data,index=[0])   #指定日期歷史天氣
                    #columns 更新時間 天氣現象 氣溫(℃) 體感溫度(℃) 氣壓(hPa) 相對溼度(%) 降雨量(mm) 風向 風力 風速(m/s)
                    if data['rdesc']=="Success":
                        ''' 檢查某監測站在資料庫內，該日期已存在多少條資料。引數：檢測點ID，要查詢的日期
                        這個判斷是有問題的。因為這個程式由一箇舊的程式改的。舊程式是獲取某一天的資料（不具體到某個小時），
                        所以只要資料庫內該日期有資料，及可以不再插入了。
                        但現在程式已經變為按小時查詢了，所以即使該日期有資料，也資料不一定完整。
                        另外也不可以用資料量=24來判斷，因為有些時間環境雲網站也沒有資料，所以上一行才需要判斷返回結果是Success
                        '''
                        checkresult = checksitedata(siteid, data['updatetime'])  
                        if checkresult > 0:
                            print 'data already exists'
                            continue
                        #插入到資料庫
                        insertintooracle(siteid, data['updatetime'],
                                        data['phenomena'],
                                        data['temperature'],
                                        data['feelst'],
                                        data['airpressure'],
                                        data['humidity'],
                                        data['rain'],
                                        data['winddirect'],
                                        data['windpower'],
                                        data['windspeed']
                                        )
                    result = 'good'
                    print 'result is good'

                    '''這部分註釋是舊程式碼，用於獲取過去24小時的歷史資料（注意：是當前時間的過去24小時，所以不需要傳遞日期和時間）
                    這部分的返回json格式和上面不同，詳細參考環境雲幫助頁面
                        weather_data = pd.DataFrame(data['history'],
                                                columns=['updatetime','phenomena','temperature',
                                                         'feelst','airpressure','humidity','rain',
                                                         'winddirect','windpower','windspeed'])#24小時歷史天氣 
                        result='good'
                        print 'result is good'
                        for ind in weather_data.index:
                            checkresult = checksitedata(siteid,weather_data.at[ind,'updatetime'])#檢查某監測站在該日期已存在多少條資料。引數：檢測點ID，要查詢的日期
                            #print checkresult

                            if checkresult>0:
                                print 'data already exists'
                                continue
                            insertintooracle(siteid,weather_data.at[ind,'updatetime'],
                                         weather_data.at[ind,'phenomena'],
                                         weather_data.at[ind,'temperature'],
                                         weather_data.at[ind,'feelst'],
                                         weather_data.at[ind,'airpressure'],
                                         weather_data.at[ind,'humidity'],
                                         weather_data.at[ind,'rain'],
                                         weather_data.at[ind,'winddirect'],
                                         weather_data.at[ind,'windpower'],
                                         weather_data.at[ind,'windspeed']
                                         )
                    '''
            except:
                result='bad'
                #print request
                print siteid
                print 'result is bad'
                continue
            '''這部分是舊程式碼，用於判斷環境雲中的錯誤資訊，例如空氣溼度值為100。
            注意：環境雲中很多錯誤資訊
            這部分程式碼未經測試，不保證正確性
            windspeed=float(str(weather_data.wspd_avg)[4:8].replace(' ','0'))
            if windspeed>60:
                windspeed=''
            airpressure=weather_data.pressure_avg.astype(float).mean()
            if airpressure>1300:
                airpressure=''
            humidity=weather_data.hum_avg.astype(float).mean()
            if humidity>100:
                humidity=''
            rain=weather_data.rain_full.astype(float).mean()
            if rain>200:
                rain=''
            #temperature_max=str(weather_data.tem_max)[5:9]
            #temperature_min=str(weather_data.tem_min)[5:9]
            #temperature_mean=''
            temperature_max=weather_data.tem_max.astype(float).max()
            if temperature_max>50:
                temperature_max=''
            temperature_min=weather_data.tem_min.astype(float).min()
            if temperature_min>50:
                temperature_min=''
            temperature_mean=''
            '''
        print 'one city inserted'
    print 'all citys inserted'

''' 查詢該監測站在某個日期一共有多少條監測記錄'''
def checksitedata(siteid,querydate):
    sql="select count(*) from imp_weather_data where siteid = '"+siteid+"' and updatetime =to_date('"+querydate+":00','yyyy-mm-dd hh24:mi:ss')"
    result = cur.execute(sql)
    result = result.fetchall()
    result = result[0][0]
    return result
   # conn.commit()
  
'''找出資料庫表中的記錄總數，用於判斷插入時的id'''  
def checkAllData():
    result = cur.execute("select count(*) from imp_weather_data ")
    result = result.fetchall()
    result = result[0][0]
    return result
    conn.commit()#如果sql語句不是insert、delete、uodate等不需要提交。參考checksitedata函式
    #return 0
    
def insertintooracle(siteid,updatetime,phenomena,temperature,feelst,airpressure,humidity,rain,winddirect,windpower,windspeed):
    table_num=checkAllData()+1
    #print table_num
    sql="""INSERT INTO imp_weather_data(dataid,siteid,updatetime,phenomena,temperature,
                    feelst,airpressure,humidity,rain,winddirect,windpower,windspeed)
                    VALUES (to_number(nvl('"""+str(table_num)+"""',null)),'"""+siteid+"""',
                    to_date('"""+updatetime+""":00','YYYY-MM-DD HH24:MI:ss'),'"""+phenomena+"""',
                    to_number(nvl('"""+temperature+"""',null)),to_number(nvl('"""+feelst+"""',null)),
                    to_number(nvl('"""+airpressure+"""',null)),to_number(nvl('"""+humidity+"""',null)),
                    to_number(nvl('"""+rain+"""',null)),'"""+winddirect+"""','"""+windpower+"""',
                    to_number(nvl('"""+windspeed+"""',null)))"""
    cur.execute(sql)
    '''這是兩種sql語句的寫法，個人喜歡上面那種
    cur.execute("""INSERT INTO imp_weather_data 
                  (dataid,siteid,updatetime,phenomena,temperature,feelst,airpressure,humidity,rain,winddirect,windpower,windspeed) 
                  VALUES (to_number(nvl('%s',null)),'%s',to_date('%s','YYYY-MM-DD HH24:MI'),'%s',to_number(nvl('%s',null)),to_number(nvl('%s',null)),to_number
                  (nvl('%s',null)),to_number(nvl('%s',null)),to_number(nvl('%s',null)),,'%s','%s',
                  to_number(nvl('%s',null)))""" 
                  %(table_num,siteid,updatetime,phenomena,temperature,feelst,airpressure,humidity,rain,winddirect,windpower,windspeed)
               )'''
    
    conn.commit()

if __name__=='__main__':
    connect='parName/
 
[email protected]/ParDbName'#parName、parPw、parIP、ParDbName分別代表資料庫賬號、密碼、ip地址、資料庫名。
    conn = cx_Oracle.connect(connect)
    cur = conn.cursor()
    #獲取所有監控站
    sitedata = getsitedata('imp_weather_sites','2')#資料來源（1為氣候中心資料；2為環境雲資料）

    sysdate = datetime.datetime.now()
    end_date = sysdate+datetime.timedelta(days=-1)#前一天
    begin_date = sysdate+datetime.timedelta(days=-2)#前兩天
    end_date = str(end_date)[0:10]
    begin_date = str(begin_date)[0:10]#去除時間，保留日期
    end_date = end_date.replace('-','')
    begin_date = begin_date.replace('-','')

    getapidata(sitedata,begin_date,end_date,key)#key是環境雲的key，大家自行申請。目前免費
    conn.close()