# -*- coding: utf-8 -*-
"""
Created on Fri Oct 19 08:11:26 2018

@author: asus
"""

import pandas as pd
titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

#人工選取pclass age sex 作為判斷乘客是否生還的特徵
X=titanic[['pclass','age','sex']]
y=titanic['survived']

#用平均年齡代替缺失的資訊
X.fillna(X['age'].mean(),inplace=True)

#資料分割，25%用於測試資料
from sklearn.cross_validation import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.25,random_state=33)

#類別型特徵轉化為特徵向量(特徵提取)
from sklearn.feature_extraction import DictVectorizer
vec=DictVectorizer(sparse=False)
X_train=vec.fit_transform(X_train.to_dict(orient='record'))
X_test=vec.transform(X_test.to_dict(orient='record'))

#使用單一決策樹進行模型訓練以及預測分析
from sklearn.tree import DecisionTreeClassifier
dtc=DecisionTreeClassifier()
dtc.fit(X_train,y_train)
dtc_y_pred=dtc.predict(X_test)

#使用隨機深林分類器進行整合模型的訓練以及預測分析
from sklearn.ensemble import RandomForestClassifier
rfc=RandomForestClassifier()
rfc.fit(X_train,y_train)
rfc_y_pred=rfc.predict(X_test)

#使用梯度提升決策樹進行整合模型訓練以及預測分析
from sklearn.ensemble import GradientBoostingClassifier
gbc=GradientBoostingClassifier()
gbc.fit(X_train,y_train)
gbc_y_pred=gbc.predict(X_test)

#整合模型的預測效能分析
from sklearn.metrics import classification_report

#輸出單一決策樹在測試集上的分類準確性，以及更加詳細的精確率、召回率、F1指標
print('The accuracy of decision tree is',dtc.score(X_test,y_test))
print(classification_report(y_test,dtc_y_pred))

#輸出隨機深林分類器在測試集上的分類準確性，以及更加詳細的精確率、召回率、F1指標
print('The accuracy of random forest classifier is',rfc.score(X_test,y_test))
print(classification_report(y_test,rfc_y_pred))

#輸出梯度提升決策樹在測試集上的分類準確性，以及更加詳細的精確率、召回率、F1指標
print('The accuracy of gradient boosting classifier is',gbc.score(X_test,y_test))
print(classification_report(y_test,gbc_y_pred))