簡介

KS曲線是用來衡量分型別模型準確度的工具。KS曲線與ROC曲線非常的類似。其指標的計算方法與混淆矩陣、ROC基本一致。它只是用另一種方式呈現分類模型的準確性。KS值是KS圖中兩條線之間最大的距離，其能反映出分類器的劃分能力。

一句話概括版本：

KS曲線是兩條線，其橫軸是閾值，縱軸是TPR與FPR。兩條曲線之間之間相距最遠的地方對應的閾值，就是最能劃分模型的閾值。

KS值是MAX(TPR - FPR），即兩曲線相距最遠的距離。

資料分析與挖掘體系位置

KS曲線也是評判模型結果的指標，因此屬於模型評估的一部分。此方法在整個資料分析與挖掘體系中的位置如下圖所示。

KS曲線的定義

瞭解ROC曲線的人會知道其橫軸與縱軸分別是混淆矩陣中的FPR與TPR。而線上的每一個點，都是在不同閾值在得到的FPR與TPR的集合。

如果知道這一事實，那麼理解KS就會十分簡單。因為KS曲線就是把ROC曲線由原先的一條曲線拆解成了兩條曲線。原先ROC的橫軸與縱軸都在KS中變成了縱軸，而橫軸變成了不同的閾值。

所以總結一下就是：

橫軸的計算：

橫軸的指標，是閾值（Threshold）。

分類器的輸出一般都為[0，1]之間的概率（Possibilities），那麼多少機率我們認為會發生事件，多少機率我們認為不會發生時間。界定“發生”與“不發生”的臨界值，就叫做閾值。

比如，我們認為下雨機率高於（含等於）0.7時，天氣預報就會顯示有雨；而下雨機率低於0.7時，天氣預報就不會顯示有雨。那麼這個0.7，就是閾值。他也是KS曲線的橫軸。

縱軸的計算：

KS曲線中有兩條線，這兩條線有共同的橫軸，但是縱軸分別有兩個指標：FPR與TPR。

KS曲線的解讀

如下圖所示，這就是一個典型的KS曲線。

縱軸分別是TPR（綠色線），FPR（紅色線）與TPR與FPR的距離（粉色的線）。

橫軸我們並未選擇傳統的閾值（即0-1），我們將橫軸變為邏輯迴歸中預測值Y的概率結果，所以橫軸突破了1。在閾值為0.4117361的時候，TPR-FPR的差距是最大的，為0.902215。

因此，我們認為邏輯迴歸的模型應該將閾值定為41.17%。在這個時候，TPR很高，FPR很低。是最好的輸出結果。

KS曲線的在R中的實現

rm(list=ls())

# 引入library
library(reshape2)
library(ROCR)
library(stringr)

# 引入樣本，劃分Train與Test
diamonds$is_expensive <- diamonds$price > 2400
is_test <- runif(nrow(diamonds)) > 0.75
train <- diamonds[is_test==FALSE,]
test <- diamonds[is_test==TRUE,]

# 擬合模型
fit_A <- glm(is_expensive ~ carat + cut + clarity, data=train)

# 預測模型
prob_A <- predict(fit_A, newdata=test, type="response")
pred_A <- prediction(prob_A, test$is_expensive)
perf_A <- performance(pred_A, measure = "tpr", x.measure = "fpr")

# 預測值以概率的形式儲存在“
 
[email protected]”中
# 真實值以“TRUE”/“FALSE”的形式儲存在“[email protected]”中
unlist([email protected])
unlist([email protected])

# 首先，我們需要將TRUE/FALSE轉化為0/1

df <- data.frame(rep = unlist([email protected]))
# 替換
df$rep=str_replace(df$rep,'TRUE',"1")
df$rep=str_replace(df$rep,'FALSE',"0")

# 之後，需要再將資料轉化為integer
# 所以，as.integer(unlist(df$rep))是真實的Y值


# 定義公式
myKS <- function(pre,label){
  true <- sum(label)
  false <- length(label)-true
  tpr <- NULL
  fpr <- NULL
  o_pre <- pre[order(pre)] # let the threshold in an order from small to large
  for (i in o_pre){
    tp <- sum((pre >= i) & label)
    tpr <- c(tpr,tp/true)
    fp <- sum((pre >= i) & (1-label))
    fpr <- c(fpr,fp/false)
  }
  plot(o_pre,tpr,type = "l",col= "green",xlab="threshold",ylab="tpr,fpr")
  lines(o_pre,fpr,type="l", col = "red")
  KSvalue <- max(tpr-fpr)
  sub = paste("KS value =",KSvalue)
  title(sub=sub)
  cutpoint <- which(tpr-fpr==KSvalue)
  thre <- o_pre[cutpoint]
  lines(c(thre,thre),c(fpr[cutpoint],tpr[cutpoint]),col = "blue")
  cat("KS-value:",KSvalue,mean(thre))
}



# 輸出結果
myKS(unlist([email protected]),as.integer(unlist(df$rep)) )