目前為止，我們講過的學習演算法的模型都是 $p (y|x;\theta)$

設想有這樣一種分類問題，我們要學習基於一個動物的某個特徵來辨別它是大象 $(y=1)$還是小狗 $(y=0)$。給定一個訓練集，用邏輯迴歸或者基礎版的**感知器演算法（perceptron algorithm）**這樣的一個演算法能找到一條直線，作為區分開大象和小狗的邊界。接下來，要辨別一個新的動物是大象還是小狗，程式就要檢查這個新動物的值落到了劃分出來的哪個區域中，然後根據所落到的區域來給出預測。

還有另外一種方法。首先，觀察大象，然後我們針對大象的樣子來進行建模。然後，再觀察小狗，針對小狗的樣子另外建立一個模型。最後要判斷一種新動物歸屬哪一類，我們可以把新動物分別用大象和小狗的模型來進比對，看看新動物更接近哪個訓練集中已有的模型。

例如邏輯迴歸之類的直接試圖建立 $p(y|x)$的演算法，以及感知器演算法（perceptron algorithm）等直接用投圖（mappings directly）的思路來判斷對應 X 的值落到了 ${0, 1}$ 中哪個區域的演算法，這些都叫判別式學習演算法（discriminative learning algorithms）。和之前的這些判別式演算法不同，下面我們要講的新演算法是對 $p(x|y)$ 和 $p(y)$來進行建模。這類演算法叫做生成學習演算法（generative learning algorithms）。例如如果 y 是用來表示一個樣例是 小狗 $(0)$ 或者 大象 $(1)$，那麼 $p(x|y = 0)$就是對小狗特徵的分佈的建模，而 $p(x|y = 1)$就是對大象特徵分佈的建模。

對 $p(y)$ (叫做 class priors，先驗概率) 和 $p(x|y)$ (叫做後驗概率)進行建模之後，我們的演算法就是用貝葉斯規則（Bayes rule）來推導對應給定的 x 的 y 的後驗分佈（posterior distribution）：

$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$

這裡的**分母（denominator）**為： $p(x) = p(x|y = 1)p(y = 1) + p(x|y = 0)p(y = 0)$（這個等式關係可以根據概率的標準性質來推導驗證，譯者> 注：其實就是條件概率），這樣接下來就可以把它表示成我們熟悉的 $p(x|y)$和 $p(y)$ 的形式了。實際上如果我們計算 $p(y|x)$ 來進行預測，那就並不需要去計算這個分母，因為有下面的等式關係：

$\begin{aligned} \arg \max_y p(y|x) & =\arg \max_y \frac{p(x|y)p(y)}{p(x)}\ &= \arg \max_y p(x|y)p(y) \end{aligned}$

1 高斯判別分析（Gaussian discriminant analysis）

咱們要學的第一個生成學習演算法就是高斯判別分析（Gaussian discriminant analysis ，縮寫為GDA）在這個模型裡面，我們假設 $p(x|y)$是一個多元正態分佈。所以首先咱們簡單講一下多元正態分佈的一些特點，然後再繼續講 GDA 高斯判別分析模型。

1.1 多元正態分佈（multivariate normal distribution）

n維多元正態分佈，也叫做多變數高斯分佈，引數為一個均值 $n$維向量 $\mu \in R^n$，以及一個協方差矩陣 $\Sigma \in R^{n\times n}$，其中 $\Sigma \geq 0$ 是一個對稱（symmetric）的半正定（positive semi-definite）矩陣。當然也可以寫成" $N (\mu, \Sigma)$" 的分佈形式，密度（density）函式為：

$p(x;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}} exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))$

在上面的等式中，" $|\Sigma|$"的意思是矩陣 $\Sigma$的行列式（determinant）。對於一個在 $N(\mu,\Sigma)$分佈中的隨機變數 X ，其平均值（跟正態分佈裡面差不多，所以並不意外）就是 $\mu$ 了：

$E[X]=\int_x p(x;\mu,\Sigma)dx=\mu$

隨機變數Z是一個有值的向量（vector-valued random variable），Z 的協方差（covariance）的定義是： $Cov(Z) = E[(Z-E[Z])(Z-E[Z])^T ]$。這是對實數隨機變數的方差（variance）這一概念的泛化擴充套件。這個協方差還可以定義成 $ C o v ( Z ) = E [ Z Z T ] − ( E [ 相關推薦 第二講：生成學習演算法 目前為止，我們講過的學習演算法的模型都是 p ( y 學習筆記-小甲魚Python3學習第二講：用Python設計第一個遊戲 拼接 ilove lov love tab fish ins 小甲魚 cti 測試題： 什麽是BIF？built-in function,是python內置函數的意思，python內置了非常多的函數，方便程序員直接調用，快速編寫腳本程序 用課堂上小甲魚教的方法數一數 機器學習基石第二講：learn to answer yes/no 剛剛完成了機器學習基石的第二講，主要介紹了機器學習的定義，PLA演算法和pocket PLA演算法。下面將筆記整理在下面。 Perceptron Hypothesis Set 延續前面的信用卡發放問題。銀行已有的使用者資料可能包括使用者的年齡、年薪、工作 《機器學習實戰》第二章：k-近鄰演算法（3）手寫數字識別 這是k-近鄰演算法的最後一個例子——手寫數字識別！ 怎樣？是不是聽起來很高大上？ 呵呵。然而這跟影象識別沒有半毛錢的關係 因為每個資料樣本並不是手寫數字的圖片，而是有由0和1組成的文字檔案，就像這樣：         嗯，這個資料集中的每一個樣本用圖形軟體處理過，變成了寬高 《機器學習實戰》第二章：k-近鄰演算法（1）簡單KNN 收拾下心情，繼續上路。 最近開始看Peter Harrington的《Machine Learning in Action》... 的中文版《機器學習實戰》。準備在部落格裡面記錄些筆記。 這本書附帶的程式碼和資料及可以在這裡找到。 這本書裡程式碼基本是用python寫的 斯坦福 機器學習-第二章 生成學習演算法 CS229 Lecture notes Part IV 生成學習演算法，Generative Learning algorithms 目前為止，我們講過的學習演算法的模型都是p (y|x;θ)，也就是給定 x 下的 y 的條件分佈，以 θ 為引數。例如，邏 《機器學習實戰》第二章：k-近鄰演算法（2）約會物件分類 這是KNN的一個新例子。 在一個約會網站裡，每個約會物件有三個特徵： （1）每年獲得的飛行常客里程數（額...這個用來判斷你是不是成功人士？） （2）玩視訊遊戲所耗時間百分比（額...這個用來判斷你是不是肥宅？） （3）每週消費的冰激凌公升數（額...這個是何用意我真不知道 第二講：第二課Linux操作系統及常用命令 排版 普通用戶 命令格式 配置文件 see 電池 硬件 -h comm 第二講：第二課Linux操作系統及常用命令1.date-顯示系統時間修改時間2.liunx記時模式：晶體振蕩器，高級的每萬年誤差一秒。主機上就是晶體振蕩器紀時的。晶體振蕩器要供電才行，主板上有紐扣電池。 生成學習演算法_高斯判別分析_樸素貝葉斯_斯坦福CS229_學習筆記 Part IV Generative Learning Algorithms 回顧上一部分的內容，我們解決問題的出發點在於直接對p(y|x;)建模：如線性迴歸中y建模為高斯分佈，邏輯迴歸y建模為伯努利分佈。這樣建模的好處在於可以直接得到x到y的對映關係，理解起來也比較直接。這樣建模 第二講：Python環境配置 第二講：Python環境配置 1.直譯器：ipython - 輸入行 In[1] 輸出行 Out[1] - 魔術命令以%開頭。%whos(檢視當前直譯器的變數空間)，%pwd(檢視當前工作目錄)，%lsmagic(檢視所有的魔術命令) %history(可以檢視在ipython直譯器 第二講：我的第一個驅動 原文：http://blog.csdn.net/caperingrabbit/article/details/5285288 配置好了開發環境之後，下面就要通過具體的程式來了解驅動的開發了。下面我們以一個WDM驅動的框架來實現Windows驅動程式的HelloWorld。 作為一個 Andrew Ng 機器學習筆記 10 ：評價學習演算法 評估假設函式 模型選擇 正則化引數λ對假設函式的影響 λ 在訓練集上的變化 λ在交叉驗證集上的變化 學習曲線(Lear 生成學習演算法（Generative Learning algorithms） 看了一下斯坦福大學公開課：機器學習教程（吳恩達教授），記錄了一些筆記，寫出來以便以後有用到。筆記如有誤，還望告知。 本系列其它筆記： 線性迴歸（Linear Regression） 分類和邏輯迴歸（Classification and logistic regression） 廣義線性模 三週學會小程式第二講：客戶端程式碼準備和基礎功能講解 通過上一講大家已經申請了小程式了，這一講我們主要講解三部分，小程式開發工具使用，客戶端程式碼準備，和基礎的客戶端講解，並且執行第一預覽版本。 本文不會帶你從零搭建一個小程式，而是直接提供一個可預覽版本。總結小編自己的程式設計經歷，如果讓你從基本型別，控制語句，for迴圈開始學 JAVA，那麼可能幾個月以後你才 MIT 線性代數導論 第二講：矩陣消元 第二講的主要內容： 線性方程組的消元法 使用矩陣語言表示消元過程 向量、矩陣乘的理解 置換矩陣的概念 初步逆矩陣的概念 線性方程組的消元法 例子： {x+2y+z=23x+8y+z=124y+z=2\left\{\begin{matrix} x+2y+z=2 第二講：使用JavaMail表示MIME訊息(2) public static void main(String[] args) throws AddressException, MessagingException, FileNotFoundException, IOException { String from = "[email p 大資料分析：機器學習演算法實現的演化 我將會對機器學習演算法的不同的實現正規化進行講解，既有來自文獻中的，也有來自開源社群裡的。首先，這裡列出了目前可用的三代機器學習工具。 傳統的機器學習和資料分析的工具，包括SAS，IBM的SPSS，Weka以及R語言。它們可以在小資料集上進行深度分析——工具所執行的節點的記憶體可以容納得 學習AI演算法，請關注微信公眾號：機器學習演算法全棧工程師…… 作者：葉    虎 編輯：祝鑫泉 一概述 梯度下降演算法（Gradient Descent Optimization）是神經網路模型訓練最常用的優化演算法。對於深度學習模型，基本都是採用梯度下降演算法來進行優化訓練的。梯度下降演算法背後的原理：目標函式關於引數的梯度將是目標函式上升最快的方向。對於 生成學習演算法之樸素貝葉斯演算法 2  樸素貝葉斯演算法 在GDA中，特徵向量是連續的實值向量。現在讓我們討論一種不同的學習演算法，在這個演算法中，是離散值。 對於我們的激勵的例子，考慮使用機器學習建立一個電子郵件的垃圾郵件過濾器。這裡，我們希望根據它們是未經請求的商業（垃圾）電子郵件還是非垃圾郵件進行分 思維導圖學習 | 第二篇：java學習基礎，讓java不再難懂【中篇】 配套Ximnd學習導圖下載地址 寫在最後 歡迎關注、喜歡、和點贊後續將推出更多的思維導圖學習文章，敬請期待。 歡迎關注我的微信公眾號獲取更多更全的學 $