課後習題答案

1.試用極大似然法估算西瓜集3.0中前3個屬性的類條件概率。

好瓜有8個，壞瓜有9個

屬性色澤，根蒂，敲聲，因為是離散屬性，根據公式（7.17）

P(色澤=青綠|好瓜=是) = 3/8

P(色澤=烏黑|好瓜=是) = 4/8

P(色澤=淺白|好瓜=是) = 1/8

P(根蒂=蜷縮|好瓜=是) = 5/8

P(根蒂=稍蜷|好瓜=是) = 3/8

。。。自己計算

另外看到這種，假定概率分佈在連續屬性上，離散屬性直接進行上邊的計算也可以

極大似然法要先假定一種概率分佈形式。 
色澤： 
對於好瓜，假設 
P(色澤=青綠|好瓜)=σ1σ1 
P(色澤=烏黑|好瓜)=σ2σ2 
P(色澤=淺白|好瓜)=σ3σ3=1−σ1−σ21−σ1−σ2 
L(σ)=⋂iP(色澤=xi|好瓜)=σ31σ42(1−σ1−σ2)L(σ)=⋂iP(色澤=xi|好瓜)=σ13σ24(1−σ1−σ2) 
L′(σ1)=σ42σ21(3−4σ1−3σ2)L′(σ1)=σ24σ12(3−4σ1−3σ2) 
L′(σ2)=σ31σ32(4−4σ1−5σ2)L′(σ2)=σ13σ23(4−4σ1−5σ2) 
令L′(σ1)=0，L′(σ2)=0′(σ1)=0，L′(σ2)=0得σ1=38σ1=38，σ1=12σ1=12，σ3=18σ3=18 
可以看出σ1,σ2,σ3σ1,σ2,σ3分別對應他們在yangben中出現的頻率。

2.試證明：條件獨立性假設不成立時，樸素貝葉斯分類器任有可能產生最優分類器。

樸素貝葉斯分類器就是建立在條件獨立性假設上的。當有不獨立的屬性時，假如所有yangben不獨立的屬性取值相同時分類也是相同的，那麼此時樸素貝葉斯分類器也將產生最優分類器。

3.試程式設計實現拉普拉斯修正的樸素貝葉斯分類器，並以西瓜資料集3.0為訓練集，並對“測1”進行分類。

python程式碼

https://github.com/makang101/machinelearning

4.試述防止下溢的可能方案。

對乘積取自然對數。採取自然對數進行處理不會有任何的損失，兩條曲線增區間和減區間相同，並且在相同點上取得極值。

6.試程式設計實現AODE分類器，並以西瓜資料集3.0為訓練集，並對“測1”進行分類。

簡單起見 沒有考慮連續屬性。可按書中公式編寫程式。python 程式碼實現

https://github.com/makang101/machinelearning/blob/master/chapter7bayesian/AODE.ipynb