機器學習(周志華西瓜書) 參考答案 總目錄

    好忙啊好忙啊好忙啊，這章和我的研究方向關係不大，暫時先偷工減料一下下。

1.對西瓜資料集2.0，允許使用否定形式的文字，試基於自頂向下的策略學出命題規則集。

    1，2題共同的問題是，如果有錯誤的資料怎麼辦？沒想明白--

2.對西瓜資料集2.0，在學習過程中通過刪除文字，將常量轉換為變數來進行規則泛化，試基於自底向上的策略學出命題規則集。

3.從網上下載或自己程式設計實現RIPPER演算法，並在西瓜資料集2.0上學出規則集。

沒做，以後如果用到相關領域再回來補全。

4.規則學習也能對資料缺失進行學習，試模仿決策樹的缺失值處理方法，基於序貫覆蓋在西瓜資料集2.0

α$\alpha$上學出命題規則集。

與決策樹一樣，為每個樣例加入權值，缺失處認為是該屬性每個取值等比例分配。比如摸個樣例一個屬性上可以有3種取值，這就相當於有3個樣例，每個樣例的權值是13$\frac{1}{3}$。一個方法是利用權值構造新資料集，然後可以直接呼叫1，2題的程式碼求解，另一個方法就是重新寫一個程式-_-。

5.從網上下載或自己程式設計實現RIPPER演算法，允許使用否定的文字，在西瓜資料集5.0上學出一階規則集。

請看第3題

6.對西瓜資料集5.0，試利用歸納邏輯學習概念“更壞”。

利用歸納邏輯學習概念“更壞”，並不是太明白怎麼做，LGG還是後面的逆歸結？
如果說是用一階規則學習，使用FOIL增益來選擇屬性，那就比較簡單了。

西瓜資料集5.0是根據對西瓜資料集2來的，可以通過對西瓜資料集2來生成5的數字形式。
可以用0，1，2分別代表每個屬性對比的程度，比如顏色：0相同，1更深，2更淺。
新資料集仲樣例數是西瓜2中正例數與反例數的乘積。

之後就轉換成了第一題，只是在選擇最佳屬性時不再看比例，而是使用FOIL。正反例的判斷上改成如果選擇的屬性取值完全一樣，就是整正例，完全相反則是反例，其他的都是未被覆蓋的例子。

如果思路沒錯，程式碼和題目1的差距並不大，如果思路錯了，程式碼寫了也是錯的，所以。

7.證明：對於一階公式r1$r_1$和r2$r_2$，不存在既能特化為r1$r_1$和r2$r_2$，也能泛化為他們的LGG的一階公式

r′$r^{\prime }$。

這題有點像證明：給定兩個數x,y，不存在即是x和y的約數，又比他們的最大公約數大的數。看著不是很明顯嗎，不然還叫什麼最大公約數或者最小一般泛化。
證:
假設： r1=rs1∩rn1$r_1=r_{s_1}\cap r_{n_1}$； r2=rs2∩rn2$r_2=r_{s_2}\cap r_{n_2}$
其中 rs$r_s$是r1$r_1$和r2$r_2$的相同謂詞，rn$r_n$是r1$r_1$和r2$r_2$的不同謂詞
那麼顯然如果r′$r^{\prime }$能特化到r1$r_1$和r2$r_2$,那麼必然能特化到rs$r_s$,也就是LGG，所以不能泛化到LGG。

8.試生成一個西瓜資料集5.0的LGG集合。

這個題目並沒有太看懂，如果僅僅給出兩條規則，我知道怎麼去求LGG，但是如何去求一個數據集的LGG？
如果是所有規則全部一起去求 ，最終會得到好瓜<−(∗)$好瓜<-(\ast )$，因為不相同的謂詞全部扔了。
疑惑

9.一階原子公式是一種遞迴定義的公式，形如P(t1,t2,...,tn)$P(t_1,t_2,...,t_n)$,其中P是謂詞或者函式符號，ti$t_i$稱作“項”，可以使邏輯常量，變數或者其他原子公式。對一階原子公式Ei$E_i$的集合S={E1,E2,...,En}$S=\{E_1,E_2,...,E_n\}$，設計一個演算法求其MGU。

對於所有原子公式，如果相同的字元出現在不同的位置上，這時候很有可能（或者一定？）無法合一。
並沒有去多想，按順序兩兩合一球出來的應該不是MGU。或者是每次得到一個置換，就將後面所有相同的字元全部置換，不知道這樣行不行。

10.對於序貫覆蓋的規則學習在學習下一條規則前，會將已被當前規則集覆蓋的樣例從訓練集仲刪去。這種貪心策略似的後續學習只關心以往未覆蓋的樣例，不考慮前後樣例的相關性；但該策略是的後續能參考的樣例越來越少，試設計一種不刪除樣例的規則學習演算法。

書上介紹的序貫覆蓋的規則學習方法，最終球出來的規則都不會覆蓋相同的資料集，這導致後續規則參考太少導致太‘特別’。比如一條規則只對應一個樣例。
所以要做的就是讓生成的規則可以覆蓋相同的樣例。
自頂向下：書中的方法是：一開始的屬性集合為空，然後選擇最佳的屬性加入集合，加入後覆蓋的正樣例比例最高，迴圈操作最後使得覆蓋的樣例全為正例。記錄這條規則，並將這條規則覆蓋的正例從資料集刪除，再從頭開始，直到資料集中只有反例。(參考第一題)

修改：
1.可以參考AdaBoost的方法，為每個資料加入一個權值，初始都為1。
2.每輪規則生成後，被覆蓋的樣例不再刪除，而是將權值除以一個常數，比如3。
3.同樣修改屬性選擇時求正例比例的方法，將權值加入。

只是想象，並沒有去操作，不知道行不行。

自底向上：書中的方法是：選擇資料集第一條樣例的屬性，將其放入屬性集合，然後依次刪除一個屬性，使得覆蓋的正例最多，同時不能覆蓋到反例，直到無論刪除哪個屬性都無法覆蓋新的正例，或者會覆蓋反例。記錄這條規則，並將這條規則覆蓋的正例從資料集刪除，再從頭開始，直到資料集中只有反例。(參考第二題)

修改：
只需要改一點點，不再刪除被當前規則集覆蓋的正例，而是每次選擇資料集第一個正例屬性改成第一個未被規則集覆蓋的正例屬性，終止條件改為所有正例被當前規則集覆蓋。

這兩個程式其實根據1，2題程式碼並不難改，所以就不改了。
(那個太難不想寫，這個太簡單不想寫)