1. 程式人生 > >五 分類:其他技術1

五 分類:其他技術1

5.1 基於規則的分類器

概念:規則前件;規則後件;覆蓋率;準確率
在這裡插入圖片描述

5.1.1 基於規則的分類器的工作原理

互斥規則:每條記錄至多被R中的一條規則覆蓋
窮舉規則:每條記錄都至少被R中的一條規則覆蓋
有序規則:規則集中的規則按照優先等級排序,有序的規則集被稱為決策表
無序規則:把記錄指派到得票最多的類

5.1.2 規則的排序方案

基於規則的排序方案:依據規則質量的某種度量對規則排序,確保每個記錄都由覆蓋他的最好的規則來分類。
基於類的排序方案:屬於同一類的規則在規則集中一起出現。
在這裡插入圖片描述

5.1.3 如何建立基於規則的分類器

建立基於規則的分類器,關鍵是提取一組規則來識別屬性和類標號之間的關鍵聯絡。提取分類規則的方法兩大類:直接法和間接法

5.1.4 規則提取的直接方法

順序覆蓋演算法:規則基於某種評估度量以貪心的方式增長
在這裡插入圖片描述
在這裡插入圖片描述
1.Learn-One-Rule函式
Learn-One-Rule函式的目標是提取一個分類規則,該規則覆蓋訓練集中的大量正例,沒有或僅覆蓋少量反例。由於搜尋空間呈指數大小,尋找計算開銷很大,.Learn-One-Rule函式通過一種貪心的方式的增長規則解決問題。產生初始規則,不斷對該規則求精,直到滿足某種終止條件。
規則增長策略:從一般到特殊和從特殊到一般。
在這裡插入圖片描述
規則評估:規則增長過程中,需要一種評估度量來確定應該新增或刪除哪個合取項。準確率or覆蓋率
在這裡插入圖片描述
(1)使用統計檢驗剪除覆蓋率較低的規則,計算似然比統計量
在這裡插入圖片描述


(2)考慮規則覆蓋率的評估度量
在這裡插入圖片描述
(3)考慮規則的支援度計數的評估度量
FOIL資訊增益:
在這裡插入圖片描述