決策樹演算法的實現：

一、C4.5演算法的實現

a、需要的包：sampling、party

library(sampling)
library(party)

sampling用於實現資料分層隨機抽樣，構造訓練集和測試集。

party用於實現決策樹演算法

另外，還可以設定隨機數種子，可以獲得相同的隨機數。方便資料重複檢驗。

#設定隨機數種子，可以獲得相同的隨機數
set.seed(100)

我們使用iris資料集作為演算法使用的資料集，通過下列各方法可以檢視資料集的各種指標。

head(iris)
str(iris)
dim(iris)

sub_train = strata(iris,
                   stratanames = "Species",
                   size = rep(35, 3),
                   method = "srswor")
data_train = iris[sub_train$ID_unit, ]
data_test = iris[-sub_train$ID_unit, ]
 

c、訓練模型

iris_tree = ctree(Species ~ ., data = data_train)

#檢視模型
print(iris_tree)
plot(iris_tree)
plot(iris_tree,type="simple")

d、用測試集檢驗模型

test_pre = predict(iris_tree,newdata = data_test)
table(test_pre,data_test$Species)
correct = sum(as.numeric(test_pre)==as.numeric(data_test$Species))/nrow(data_test)
 

對測試集的判斷準確率0.9333。

我們也可以看一下模型對訓練集的判斷準確率：

table(predict(iris_tree),data_train$Species)
correct = sum(as.numeric(predict(iris_tree))==as.numeric(data_train$Species))/nrow(data_train)

準確率0.97143。

二、CART演算法的實現

新增以來的包

library(xts)
library(TTR)
library(quantmod)
library(ROCR)
library(DMwR)

#檢視所有連續變數的相關性，所有分類變數的卡方值
#連續變數
idx.num=which(sapply(algae,is.numeric))
idx.num
correlation=cor(algae$a1,algae[,idx.num],use = "pairwise.complete.obs")
correlation
correlation=abs(correlation)
correlation=correlation[,order(correlation,decreasing = T)]
correlation
 

# 所有分類變數的卡方值
idx.factor=which((sapply(algae, is.factor)))
idx.factor
class(idx.factor)
algae[,idx.factor]
t1=table(algae$season,algae$size)
t1
chisq.test(t1)