作者：teeyohuang

本文系原創，供交流學習使用，轉載請註明出處，謝謝

宣告：此係列博文根據斯坦福CS229課程，吳恩達主講 所寫，為本人自學筆記，寫成部落格分享出來

          博文中部分圖片和公式都來源於CS229官方notes。

          CS229的視訊和講義均為網際網路公開資源

                                                        Lecture6

Lecture 6 的主要內容：

       ·multinomialevent model（多元伯努利事件模型）

       ·NeuralNetwork(神經網路)

       ·SupportVector Machine（支援向量機）

1、multinomialevent model（多項式事件模型）

就是讓樸素貝葉斯中 的X能夠取更多的值(在上一節Lecture中，我們的X只取1和0(存在/不存在)這兩個值），可以有k個取值。可採用同樣的方式進行建模，只是要注意，此時等號右邊是多項式分佈而不是伯努利分佈了，因為X可以取多種值：

在多項式事件模型中，我們的引數為：

進而有：

對其進行拉普拉斯平滑之後：

2、Neural Network(神經網路)

這裡只是簡要的介紹了一下神經網路，鑑於現在deep learning這麼火，網上有很多專門講神經網路的課程，我這裡就不詳細記錄這部分的內容了，就一筆帶過吧。吳老師在這裡舉了個mnist手寫體識別的例子，也就是LeNet的例子，這樣是我們現在學習深度學習的同學的一個入門級網路，堪稱CNN中的“hello world”

3、SupportVector Machine（支援向量機）

SVM可以說是統計學習時代一個很經典的演算法了。

①Margins

              先來一些直觀上的感覺：

              第一個例子，Logistic Regression

       第二個例子，線性可分平面的例子

我們能感受到，A點離我們的分割線很遠，所以對於A點的分類是confident的，而C點十分靠近分割線，那麼我們就覺得C點的分類有點不好，因為如果一旦分割線有所移動，C的分類就可能分到下面那堆點去！

所以我們希望，能夠找到一個分隔線（平面），使得對每個樣本點都是做出一個穩健的分類！

以上兩個例子中，從直觀上來看，我們希望樣本點都能儘量遠離分界標準，也即希望都離分界位置 有一定的 Margin。 下文我們會對Margin作函式上和幾何上的解釋。

  ②Notation（註釋）

       我們先從一個線性分類器—--一個二分類器來談起。

同時要注意，我們現在討論的都是線性可分的情況。

③Functionaland geometric margins（函式間隔 和 幾何間隔）

       Functional margins：

Geometric margins.

Lecture6其實還簡要談了一點最優間隔分類器的內容，但主要放在Lecture7中講解的，

所以我乾脆寫到Lecture7中去了。Lecture7繼續在講SVM（支援向量機）