基於python函數的udf日期處理函數

1、基於最近在學習python，就是試試用python進行一下的日期處理udf函數的輸出，親測可以上傳去到hive中使用。後面開始學習使用python爬蟲抓取黃色網頁，和試試騙一下閱讀量（笑）。最後，再去搞搞算法和機器學習。突然覺得自己搞得挺雜的。沒辦法，誰叫咱是碼農呢？

2、使用辦法-輸入什麽參數

這個py文件中包括一堆日期的計算函數。

其中包括

3、python上掛

1)、先把這堆文件上傳到服務器。

2)、在使用的時候把python文件加載到緩存中

add file /home/hive/zyp/python/date.py

3)、最後在hive執行的時候,調用這個py函數即可

SELECT TRANSFORM (‘n_day,20171003,3‘) USING ‘python date.py‘;

4、邏輯分享

1)、python udf嵌套

原本是寫成每個日期函數都是一個的，但是後來發現python在本地調用的時候是可以的，但是傳上服務器之後就不好使了。這個也是確實的，誰叫別人java的udf都是封裝好，需要註冊的呢？

後來想想反正這函數也是寫好在這裏的需要調用才會用到的，於是幹脆把所有函數都打包在一起，通過一個參數來調用了。

具體實現辦法：

def func(argument,date_p,offset=1,tail=‘begin‘):

try:

switcher={

‘week_begin‘:week_begin(str(date_p),week_num(str(date_p))),

‘week_end‘:week_end(str(date_p),week_num(str(date_p))),

‘week_num‘:week_num(str(date_p)),

‘month_begin‘:month_begin(str(date_p)),

‘month_end‘:month_end(str(date_p)),

‘quarter_begin‘:quarter_begin(str(date_p)),

‘quarter_end‘:quarter_end(str(date_p)),

‘n_day‘:n_day(str(date_p),offset),

‘n_week‘:n_week(str(date_p),int(offset)*7),

‘n_month‘:n_month(str(date_p),offset,tail),

‘n_quarter‘:n_quarter(str(date_p),offset,tail),

}

func=switcher.get(argument)

return func

except:

return None

2)、參數補全

把東西都打包到一起之後就又發現問題了，有寫函數不需要這麽多參數啊。一旦你執行這些不需要那麽多參數的函數的時候。硬硬的去取參數會導致報錯的。

所以試了挺久，想到一個解決辦法，不知道是不是最好實現了。辦法就是給他補字段唄。

代碼如下：

tempList = [‘1‘, ‘begin‘]

for line in sys.stdin:

day_p = line.strip().split(‘,‘)

if day_p[1][4]==‘-‘:

date_p=(day_p[1][0:4])+(day_p[1][5:7])+(day_p[1][8:11])

else:

date_p=day_p[1]

day_p.extend(tempList[-int(4-len(day_p)%4):])

day_list=day_p[0:4]

print func(str(day_list[0]),date_p,day_list[2],day_list[3])

中間還有一段處理日期帶杠的代碼。

3)、程序源碼

#!/home/tops/bin/python

import calendar

import math

import sys

import datetime

#test=[‘n_day,20171003,3‘,‘week_begin,2017-10-05‘,‘week_num,2017-01-23‘,‘month_begin,2017-12-24‘,‘month_end,2017-09-30‘,‘quarter_begin,2017-10-05,5,begin‘,‘quarter_end,2017-01-23,-7,begin‘,‘n_day,20171224,8,begin‘,‘n_week,2017-09-30,3,begin‘,‘n_month,2017-10-05,5,begin‘,‘n_quarter,2017-01-23,-7,begin‘]

def week_end(day_p,week_num):

try:

return n_day(str(day_p),(7-int(week_num)))

except:

return None

def week_begin(day_p,week_num):

try:

return n_day(str(day_p),-(int(week_num)%7))

except:

return None

def week_num(day_p):

try:

day_str = day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+day_p[6:8]

day_before = datetime.datetime.strptime(day_str, ‘%Y-%m-%d‘)

return day_before.weekday()+1

except:

return None

def month_begin(day_p):

try:

return day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+‘01‘

except:

return None

def month_end(day_p):

try:

monthRange = calendar.monthrange(int(day_p[0:4]),int(day_p[4:6]))

return day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+str(monthRange[1])

except:

return None

def quarter_begin(day_p):

try:

Quarter_begin=‘0‘+str(int(int(day_p[4:6])/3.1)*3+1)

return str(day_p[0:4])+‘-‘+str(Quarter_begin[-2:])+‘-‘+‘01‘

except:

return None

def quarter_end(day_p):

try:

Quarter_end=‘0‘+str((int(int(day_p[4:6])/3.1)+1)*3)

return month_end(str(day_p[0:4])+str(Quarter_end[-2:])+str(‘01‘))

except:

return None

def n_day(day_p,offset):

try:

day_str = day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+day_p[6:8]

day_before = datetime.datetime.strptime(day_str, ‘%Y-%m-%d‘)

day_after = datetime.timedelta(days=int(offset))

n_days = day_before + day_after

return n_days.strftime(‘%Y-%m-%d‘)

except:

return None

def n_week(day_p,offset):

try:

date_p=week_begin(day_p,week_num(day_p))

date_p1=str(date_p[0:4]+date_p[5:7]+date_p[8:11])

return n_day(str(date_p1),int(offset)*7)

except:

return None

def n_month(day_p,offset,tail):

try:

year_m=int(day_p[0:4])+(int(offset)/12)

month_m=‘0‘+str(int((int(day_p[4:6])+int(offset))%12))

if month_m==‘00‘:month_m=12

if tail==‘begin‘:

day_m=‘01‘

else:

monthRange=calendar.monthrange(int(year_m),int(month_m))

day_m=str(monthRange[1])

return str(year_m)+‘-‘+str(month_m)[-2:]+‘-‘+str(day_m)

except:

return None

def n_quarter(day_p,offset,tail):

try:

date_p=quarter_begin(day_p)

return n_month(date_p,int(offset)*3,tail)

except:

return None

def func(argument,date_p,offset=1,tail=‘begin‘):

try:

switcher={

‘week_begin‘:week_begin(str(date_p),week_num(str(date_p))),

‘week_end‘:week_end(str(date_p),week_num(str(date_p))),

‘week_num‘:week_num(str(date_p)),

‘month_begin‘:month_begin(str(date_p)),

‘month_end‘:month_end(str(date_p)),

‘quarter_begin‘:quarter_begin(str(date_p)),

‘quarter_end‘:quarter_end(str(date_p)),

‘n_day‘:n_day(str(date_p),offset),

‘n_week‘:n_week(str(date_p),int(offset)*7),

‘n_month‘:n_month(str(date_p),offset,tail),

‘n_quarter‘:n_quarter(str(date_p),offset,tail),

}

func=switcher.get(argument)

return func

except:

return None

def main():

try:

tempList = [‘1‘, ‘begin‘]

for line in sys.stdin:

day_p = line.strip().split(‘,‘)

if day_p[1][4]==‘-‘:

date_p=(day_p[1][0:4])+(day_p[1][5:7])+(day_p[1][8:11])

else:

date_p=day_p[1]

day_p.extend(tempList[-int(4-len(day_p)%4):])

day_list=day_p[0:4]

print func(str(day_list[0]),date_p,day_list[2],day_list[3])

except:

return None

if __name__ == "__main__":

main()

‘‘‘

作者：張宇鵬

簡書：http://www.jianshu.com/p/5c70d4ade0df

博客園：http://www.cnblogs.com/Yuppy-Lotr/

歡迎轉載使用。不要改作者名就行。

‘‘‘

python日期函數udf-程序分享