吳恩達機器學習筆記及作業程式碼實現中文版

第十章 支援向量機

大間隔分類器的數學原理

• 假設我有兩個二維向量 $u$和 $v$

  ， $u^Tv$也叫做向量 $u$
  u 和 $v$之間的內積。
  • 向量 $u$
    在橫軸上取值為某個 $u_1$，而在縱軸上，高度是某個 $u_2$作為 $u$的第二個分量。
  • $∥u∥$表示 $u$的範數，即 $u$的長度，即向量 $u$的歐幾里得長度。 $∥u∥=\sqrt{u_1^2+u_2^2}$，這是向量 $u$的長度，它是一個實數。
  • 現在讓我們回頭來看向量 $v$， $v$是另一個向量，它的兩個分量 $v_1$和 $v_2$是已知的。
  • 我們將向量 $v$做一個直角投影到向量 $u$上，接下來度量投影的長度 $p$，或
    者說是向量 $v$投影到向量 $u$上的量，因此可以將 $u^Tv=p*∥u∥$。
  • 另一個計算公式是： $u^Tv$就是 $[u_1, u_2]$這個一行兩列的矩陣乘以 $v$。因此可以得到 $u_1*v_1+u_2*v_2$。
  • $u^Tv=v^Tu$，因此如果你將 $u$和 $v$交換位置，將 $u$投影到 $v$上，而不是將 $v$投影到 $u$上，然後做同樣地計算，事實上可以得到同樣的結果。
  • $p$事實上是有符號的，即它可能是正值，也可能是負值。
  • 在內積計算中，如果 $u$和 $v$之間的夾角小於 90 度，那麼 $p$是正值。然而如果這個夾角大於 90度，則 $p$將會是負的，兩個向量之間的內積也是負的。
    

• 支援向量機模型中的目標函式：
  

  • 接下來忽略掉截距，令 $\theta_0 = 0$，這樣更容易畫示意圖。我將特徵數n置為2，因此我們僅有兩個特徵 $x_1, x_2$，當我們僅有兩個特徵時，這個式子可以寫作： $\frac{1}{2}(\theta_1^2+\theta_2^2)=\frac{1}{2}(\sqrt{\theta_1^2+\theta_2^2})^2$。括號裡面的這一項是向量 $\theta$的範數，或者說是向量 $\theta$的長度。
  • 因此支援向量機做的全部事情，就是極小化引數向量 $\theta$範數的平方，或者說長度的平方。
    
  • 我們考察一個單一的訓練樣本，我有用一個叉來表示一個正樣本 $x^{(i)}$，意思是在水平軸上取值為 $x_1^{(i)}$，在豎直軸上取值為 $x_2^{(i)}$。
    
  • 我們計算的方式就是將訓練樣本投影到引數向量 $\theta$，然後我來看一看這個線段的長度，我將它畫成紅色。我將它稱為 $p^{(i)}$用來表示這是第 $i$個訓練樣本在引數向量 $\theta$上的投影。
  • $\theta^Tx^{(i)}$將會等於 $p$乘以向量 $\theta$的長度或範數，即 $ θ 1 ∗ x 1 ( i ) + θ 2 ∗ x 2 ( 相關推薦 演算法工程師修仙之路：吳恩達機器學習（十五） 吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 大間隔分類器的數學原理 假設我有兩個二維向量 u 演算法工程師修仙之路：吳恩達機器學習（十四） 吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 直觀上對大間隔的理解 人們有時將支援向量機看作是大間距分類器。 支援向量機模型的代價函式，在左邊這裡我畫出了關於 z 的代價函式 演算法工程師修仙之路：吳恩達機器學習（十二） 吳恩達機器學習筆記及作業程式碼實現中文版 第九章 機器學習系統設計 確定執行的優先順序 以一個垃圾郵件分類器演算法為例進行討論。 為了解決這樣一個問題，我們首先要做的決定是如何選擇並表達特徵向量 演算法工程師修仙之路：吳恩達機器學習（十一） 吳恩達機器學習筆記及作業程式碼實現中文版 第八章 應用機器學習的建議 決定下一步做什麼 獲得更多的訓練例項——通常是有效的， 但代價較大， 下面的方法也可能有效， 可考慮先採用下面的幾種方法： 嘗試減少特徵的數量； 嘗試獲得更多的特徵 演算法工程師修仙之路：吳恩達機器學習（十） 吳恩達機器學習筆記及作業程式碼實現中文版 第七章 神經網路引數的反向傳播演算法 理解反向傳播 為了更好地理解反向傳播演算法，我們再來仔細研究一下前向傳播的原理： 反向傳播演算法做的是： 梯度檢測 當我們對一個較為複雜 演算法工程師修仙之路：吳恩達機器學習（九） 吳恩達機器學習筆記及作業程式碼實現中文版 神經網路引數的反向傳播演算法 代價函式 假設神經網路的訓練樣本有 m 演算法工程師修仙之路：吳恩達機器學習（八） 吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 特徵和直觀理解 從本質上講，神經網路能夠通過學習得出其自身的一系列特徵。 神經網路中，單層神經元（ 無中間層）的計算可用來表示邏輯運算，比如邏輯與(AND)、邏輯或(OR)。 邏輯 演算法工程師修仙之路：吳恩達機器學習（七） 吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 非線性假設 無論是線性迴歸還是邏輯迴歸都有這樣一個缺點：當特徵太多時，計算的負荷會非常大。 使用非線性的多項式項，能夠幫助我們建立更好的分類模型。假設我們有非常多的特徵，例如大於 100 個 演算法工程師修仙之路：吳恩達機器學習（六） 吳恩達機器學習筆記及作業程式碼實現中文版 第五章 正則化 過擬合問題 線性迴歸和邏輯迴歸能夠有效地解決許多問題，但是當將它們應用到某些特定的機器學習應用時，會遇到過擬合(over-fitting)的問題，可能會導致它們效果很差。 正則化(regulari 演算法工程師修仙之路：吳恩達機器學習（五） 吳恩達機器學習筆記及作業程式碼實現中文版 第四章 Logistic迴歸 簡化代價函式與梯度下降 邏輯迴歸的代價函式： C 演算法工程師修仙之路：吳恩達機器學習（四） 吳恩達機器學習筆記及作業程式碼實現中文版 第四章 Logistic迴歸 分類 在分類問題中，要預測的變數y是離散的值，邏輯迴歸 (Logistic Regression) 演算法是目前最流行使用最廣泛的一種學習演算法。 在分類問題中，我們嘗試預測的是結果 演算法工程師修仙之路：吳恩達機器學習（三） 吳恩達機器學習筆記及作業程式碼實現中文版 第三章 多變數線性迴歸 多維特徵 現在我們對房價模型增加更多的特徵，例如房間數樓層等，構成一個含有多個變數的模型，模型中的特徵為 演算法工程師修仙之路：吳恩達機器學習（二） 吳恩達機器學習筆記及作業程式碼實現中文版 第二章 單變數線性迴歸 模型描述 我們使用一個監督學習演算法的例子：預測住房價格。 我們要使用一個數據集，資料集包含俄勒岡州波特蘭市的住房價格。 在這裡，我要根據不同房屋尺寸所售出的價格，畫出我的資 演算法工程師修仙之路：吳恩達機器學習（一） 吳恩達機器學習筆記及作業程式碼實現中文版 第一章 緒論：初識機器學習 什麼是機器學習 Machine Learning(機器學習)是研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。 機器學習被用 演算法工程師修仙之路：吳恩達機器學習（十三） 吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 優化目標 在監督學習中，許多學習演算法的效能都非常類似，因此，重要的不是你該選擇使用學習演算法 A 還是學習演算法 B，而更重要的是，所建立的大量資料在應用這些演算法時，表現情況通常依賴於你的水平。比如你 演算法工程師修仙之路：吳恩達機器學習作業（一） 吳恩達機器學習筆記及作業程式碼實現中文版 第一個程式設計作業：單變數線性迴歸（python程式碼實現） 一元線性迴歸 問題描述 在本練習的這一部分中，您將使用只有單變數的線性迴歸方法預測餐車的利潤。 假設你是一家連鎖餐廳的執行長，正在 演算法工程師修仙之路：python3官方文件筆記（三） 本筆記來自於python手冊的中文版 Python 簡介 Python 中的註釋以 # 字元起始，直至實際的行尾。 註釋可以從行首開始，也可以在空白或程式碼之後，但是不出現在字串中。 文字字串中的 # 字元僅僅表示 # 。 程式碼中的註釋 演算法工程師修仙之路：python3官方文件筆記（二） 本筆記來自於python手冊的中文版 使用 Python 直譯器 呼叫 Python 直譯器 通常你可以在主視窗輸入一個檔案結束符（Unix系統是Control-D，Windows系統是Control-Z）讓直譯器以 0 狀態碼退出。如果那沒有作用，你可以通過輸入 演算法工程師修仙之路：python3廖雪峰教程筆記（一） 此筆記摘錄於廖雪峰先生的教程，感謝廖先生的無私分享，特此致敬！ python簡介 Python是一種什麼語言？ 用任何程式語言來開發程式，都是為了讓計算機幹活，而計算機幹活的CPU只認識機器指令，所以，儘管不同的程式語言差異極大，最後都得“翻譯”成 演算法工程師修仙之路：python3官方文件筆記（一） 本筆記來自於python手冊的中文版 第一章 開胃菜 雖然 Python 易於使用，但它卻是一門完整的程式語言。 與 Shell 指令碼或批處理檔案相比，它為編寫大型程式提供了更多的結構和支援。 Python 提供了比 C 更多的錯誤檢查 $