一、LoanStatus案例介紹

• 資料集變數：
  

• 預測變數：
  Loan_Status貸款是否成功

• 評價指標：
  Cross_validation Score (ROC曲線–AUC得分)

• 資料集大小
  訓練集樣本數：614
  測試集樣本數：367

二、檢視資料集

1.匯入Python資料探勘庫

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

2.檢視資料集

df.head()

df.describe()

三、變數統計分析

1.檢視Property_Area變數

 temp1 = df['Property_Area'].value_counts()
 print(temp1)

temp1.plot(kind='bar')

2.檢視ApplicantIncome欄位（連續變數）

# 繪製ApplicantIncome的直方圖
df['ApplicantIncome'].hist(bins=30)

#檢視ApplicantIncome 箱線圖
df.boxplot(column='ApplicantIncome')

#檢視不同教育水平的收入情況
df.boxplot(column='ApplicantIncome'
 
,by='Education')

#檢視不同教育水平及性別的收入情況
df.boxplot(column='ApplicantIncome',by=['Education','Gender'])

3. 檢視LoanAmount欄位（連續變數）

#繪製LoanAmount直方圖
df['LoanAmount'].hist(bins=40)

#繪製箱線圖
df.boxplot(column='LoanAmount')

#檢視不同教育水平的人的借款金額箱線圖
df.boxplot(column='LoanAmount',by='Education')

#看不同性別的人的借款情況
 

df.boxplot(column='LoanAmount',by='Gender')

#不同教育水平&不同性別
df.boxplot(column='LoanAmount',by=['Gender','Education'])

4.基於信用情況獲得貸款的可能性（Credit_History）

temp1 = df['Credit_History'].value_counts(ascending=True)

temp2=df.pivot_table(values='Loan_Status',index=['Credit_History'],
    aggfunc=lambda x:x.map({'Y':1,'N':0}).mean())

import matplotlib.pyplot as plt
fig=plt.figure(figsize=(8,4))
ax1=fig.add_subplot(121)
ax1.set_xlabel('Credit_History')
ax1.set_ylabel('Count of Applicants')
ax1.set_title("Applicants by Credit_History")
temp1.plot(kind='bar')
ax2=fig.add_subplot(122)
ax2.set_xlabel('Credit_History')
ax2.set_ylabel('Probability of getting loan')
ax2.set_title("Probability of getting loan by Credit_History")
temp2.plot(kind='bar')

temp3=pd.crosstab(df['Credit_History'],df['Loan_Status'])
temp3.plot(kind='bar',stacked=True,color=['red','blue'],grid=False)

temp4=pd.crosstab([df['Credit_History'],df['Gender']],df['Loan_Status'])
temp4.plot(kind='bar',stacked=True,color=['red','blue'],grid=False)

由圖可知，歷史信用會對貸款結果產生較大的影響

5. 基於婚姻情況獲得貸款的可能性

temp4=df['Married'].value_counts(ascending=True)

temp5=df.pivot_table(values='Loan_Status',index=['Married'],
    aggfunc=lambda x:x.map({'Y':1,'N':0}).mean())

四、資料預處理

• 在一些變數中存在缺失值，基於丟失的值的數量估計這些缺失值，並評估變數的重要性
• applicantIncome和LoanAmount存在極值，應適當處理
• 處理非數值領域Gender，Property_Area，Married，Education，Dependents

1.檢視所有變數中的缺失值個數

df.apply(lambda x:sum(x.isnull()),axis=0)

2.填補Self_Employed的缺失值

df['Self_Employed'].value_counts()
df['Self_Employed'].fillna('No',inplace=True)

3.處理Credit_History的缺失值

df['Credit_History'].value_counts()
df['Credit_History'].fillna(1,inplace=True)

處理後：

4.處理Loan_Amount_Term的缺失值

df['Loan_Amount_Term'].describe()
df['Loan_Amount_Term'].fillna(df['Loan_Amount_Term'].notnull().mean(),inplace=True)

5.建立資料透視表，提供我們所有Education和Self_employed變數的唯一值分組的中位數

table=df.pivot_table(values='LoanAmount',index='Self_Employed',columns='Education',aggfunc=np.median)
def fage(x):
    return table.loc[x['Self_Employed'],x['Education']]
#Replace missing values
df['LoanAmount'].fillna(df[df['LoanAmount'].isnull()].apply(fage,axis=1),inplace=True)
df['LoanAmount'].hist(bins=40)

6.applicantIncome 將申請者和共同申請者兩者的收入結合起來作為總收入，並採取相同的對數變換

df['TotalIncome']=df['ApplicantIncome']+df['CoapplicantIncome']
df['TotalIncome_log']=np.log(df['TotalIncome'])
df['TotalIncome_log'].hist(bins=20)

7.啞變數處理
1）處理Gender缺失值

df['Gender'].fillna('Male',inplace=True)

五、建模分析