為了結束我們對生成性學習演算法的討論，讓我們再來談談一個專門用於文字分類的模型。雖然我們已經介紹了樸素貝葉斯，但它在許多分類問題例如文字分類上都會很好地工作，會有一個相關的模型做得更好。

在文字分類的具體背景下，提出的樸素貝葉斯採用所謂的多元伯努利事件模型。在這個模型中，我們假設產生電子郵件的方式是首先隨機確定(根據類優先順序p(y)）無論是垃圾郵件傳送者還是非垃圾郵件傳送者都會給你傳送下一條資訊。然後，傳送電子郵件的人在字典中執行，並根據概率決定是否將每個單詞i獨立地包含在該電子郵件中。因此，訊息的概率由給出。

這裡有一個不同的模型，叫做多項事件模型。為了描述這個模型，我們將使用不同的符號和一組特性來表示電子郵件。我們讓

表示電子郵件中第i個單詞的特徵。因此，現在是一個整型，取{1，....，|V|}中的值，其中，|V|是我們詞彙表(字典)的大小。電子郵件的n個字現在表示為長度為n的向量(x1，x2，…，xn)；注意，n對於不同的文件可能會有所不同。例如，如果電子郵件以“A nips.”開頭，那麼x1=1(“a”是字典中的第一個單詞)，x2=35000(如果“nips”是字典中的第35000個單詞)。

在多項式事件模型中，我們假設生成電子郵件的方式是通過隨機過程，其中首先確定垃圾郵件/非垃圾郵件(根據p(y))。然後，電子郵件的發件人首先通過在單詞上的一些多項式分佈(p(x1|y)生成x1來編寫電子郵件。接下來，第二個單詞x2是獨立於x1選擇的，但不受相同的多項式分佈的影響，對於x3、x4等也是如此，直到電子郵件的所有n個單詞都生成為止。因此，訊息的總體概率由

給出。請注意，這個公式看起來像我們之前在多元bernoulli事件模型下得到訊息概率的公式。但公式中的術語現在意味著非常不同的東西。特別是，現在，是一個多項式，而不是Bernoulli分佈。

我們新模型的引數是，，。請注意，我們已經假定對於j的所有值都是相同的(也就是說，生成單詞的分發並不取決於其在電子郵件中的位置j)

如果我們得到一套訓練集其中，那麼資料的極大似然為

最大限度地提高這一估計值可得到引數的最大似然估計數：

如果我們要應用拉普拉斯光順當估計和時，我們將1加到分子中，並在分母中加1，並得到如下結果：

雖然不一定是最好的分類演算法，但樸素貝葉斯分類器的效果往往令人驚訝。考慮到它的簡單性和實現的易用性，它也常常是一個非常好的“第一件嘗試”。