一、2016年度忙碌的工作與技術積累

1.1 第一版通用信用模型：

201601 開始建模。

梳理大資料特徵風控建模的過程如下：

樣本：

從LDYS購買到sms中收到逾期3次以上定義為壞，從來沒有收到逾期的定義為好。

特徵：

細粒度搜索詞、大資料使用者畫像（自然屬性、社會屬性、興趣與需求屬性）、LBS（家、公司、到訪等）、各大類產品線按每1/3/6/12月做的統計衍生特徵、細粒度搜索瀏覽等特徵在性別等分類器上提取出的最後一層做稠密特徵。

三大特徵源，bdg的特徵覆蓋率86%(53.4w) 特徵有9+w維， fsg的特徵覆蓋率100%（61.4w）特徵有1000維，bdl的特徵覆蓋率50+%（31.6w）特徵有2500維。

模型：

基於paddle訓練DNN模型。

1.2 第二版通用信用模型：

201604 開始。

優化點：參考zest的樣本規整方案，將建模樣本在的好定義得更嚴格：好人必須是觀察期之前有信用卡或貸款賬單的使用者。重新建模。

1.3 第三版通用信用模型beta版 與 升級版：

201607 開始。

樣本：

第一次提供了LDYS自定義的違約等級標籤D4+的人作違約人群，該樣本噪聲大模型效果不如之前。

第二次使用9個月表現窗提取連續違約3個月以上的作為違約人群。

樣本優化點：

嘗試對比幾種不同方式定義違約使用者：最大逾期資訊數>=3，連續逾期月份數>=2, >=3。

特徵優化點：

針對大資料畫像不斷迭代升級變化的問題提取穩定特徵保留。

加入LDYS的儲蓄卡、信用卡最近1/3/6/12個月的消費記錄特徵。

使用無監督特徵稠密化建模。

模型優化點：

嘗試wide 與deep 網路的結構。還缺乏詞之間的組合特徵編碼。

後續優化事項：

特徵衍生：詞之間的組合特徵、連續特徵離散化、無監督特徵。

DNN模型：引入新的網路結構如resnet，加深網路層數。

1.4 收入模型：

201609 開始。

樣本優化點：

收入層次的劃分。

目標Y為連續值壓縮： log變換等。

1.5 外部合作建模嘗試：

201606 開始，後轉交給其它同事。

1.6 業務資料分析：

整過一年裡間斷性穿插業務策略的各種資料分析需求，如模型分cut值分析、模型分的解釋、策略的優化分析等等。

1.7 技術點：

針對樣本imbalance，對正樣本作oversampling。

較系統的補充了gbdt的理論原理，用xgboost的PY進行包裝進行引數搜尋。

使用卡方、資訊增益、樹模型的葉子等做有監督篩選特徵、使用SVD無監督特徵降維等。

特徵權重處理調優：歸一化、離散化（次數按1,2,10,1000分段，金額按1,2,3倍方差分段）。

對各個典型特徵源單獨train一隱層的模型預訓練。

低維連續值特徵用gbdt模型已經能夠很好的捕捉到有用資訊，可以用其輸出接dnn。

應用dnn模型。

二、未來的計劃

1，樣本層面：

違約天數其實是連續的，可以嘗試連續值看看。

2，特徵層面：

構造更多無監督特徵對百度大資料進行降維。

3，模型層面：

DNN模型引入更深的層次。

跟進業界新提出的DNN網路結構與應用實驗，時序DNN。

繼續關注DNN模型的可解釋性。