【Andrew NG 機器學習公開課】CS229：Introduction、Linear Regression
這份筆記來源於Andrew NG在Coursera上的公開課和講義。
Introduction
機器學習問題
（一）有監督學習（Supervised Learning）
基本思想是：given the right answer for each example in the data.（即：我們資料集中的每個樣本都有相應的“正確答案"，再根據這些樣本作出預測。）迴歸（regression）：our goal is to predict a continuous value output. 分類（classification）:the goal is to predict a discrete value ouput.
給定的樣本沒有標籤，需要靠機器自己去學習，對某類同樣的樣本進行標註、分類等。比如：聚類演算法。
Part Ⅰ Linear Regression
linear function：hθ(x) = θ0 + θ1x1 + θ2x2
其中 θi 為引數
相關推薦
【Andrew NG 機器學習公開課】CS229：Introduction、Linear Regression
這份筆記來源於Andrew NG在Coursera上的公開課和講義。 Introduction 機器學習問題 （一）有監督學習（Supervised Learning） 基本思想是：given the right answer for each example i
廣義線性模型 - Andrew Ng機器學習公開課筆記1.6
sans luci art 能夠 tro ron 便是 import grand 在分類問題中我們如果： 他們都是廣義線性模型中的一個樣例，在理解廣義線性模型之前須要先理解指數分布族。 指數分
機器學習公開課筆記(8)：k-means聚類和PCA降維
K-Means演算法 非監督式學習對一組無標籤的資料試圖發現其內在的結構，主要用途包括： 市場劃分（Market Segmentation） 社交網路分析（Social Network Analysis） 管理計算機叢集（Organize Computer Clusters） 天文學資料分析（A
機器學習公開課筆記(7)：支援向量機
支援向量機(Support Vector Machine, SVM) 考慮logistic迴歸，對於$y=1$的資料，我們希望其$h_\theta(x) \approx 1$，相應的$\theta^Tx \gg 0$; 對於$y=0$的資料，我們希望$h_\theta(x) \approx 0$，相應的$\
機器學習公開課筆記(1)：機器學習簡介及一元線性迴歸
初步介紹 監督式學習: 給定資料集並且知道其正確的輸出應該是怎麼樣的，即有反饋（feedback），分為 迴歸 （Regressioin）: map輸入到連續的輸出值。 分類 （Classification）：map輸出到離散的輸出值。 非監督式學習: 給定資料集，並不知道其正確的輸出是什麼，
機器學習公開課筆記(6)：應用機器學習的建議
應用機器學習的建議 1. 評估學習演算法 在實際中應用學習演算法時，如何評估一個學習演算法的好壞？進一步地，如果學習的演算法的效果不太好，如何改進學習演算法？例如，對於一個簡單的線性擬合模型，改進演算法效果的策略包括： 採用更多的訓練例項訓練模型 採用更小的特徵集合 增加額外的特徵 嘗試高次項
機器學習公開課筆記(10)：大規模機器學習
批梯度下降 (Batch Gradient Descent) 以線性迴歸為例，用梯度下降演算法進行引數更新的公式為$$\theta_j=\theta_j-\alpha\frac{1}{m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$可
機器學習公開課筆記(9)：異常檢測和推薦系統
異常檢測(Anomaly Detection) 基本假設：多數情況下資料點落入正常的取值範圍，但是當異常行為發生時，資料點的取值落入正常取值範圍之外（如圖1所示）。所以可以利用高斯分佈，計算行為發生的概率，如果是概率小於給定閾值，則認為發生了異常行為。基本過程是利用訓練資料點建立模型$p(x)$，對於新的資
機器學習公開課筆記(5)：神經網路(Neural Network)——學習
這一章可能是Andrew Ng講得最不清楚的一章，為什麼這麼說呢？這一章主要講後向傳播(Backpropagration, BP)演算法，Ng花了一大半的時間在講如何計算誤差項$\delta$，如何計算$\Delta$的矩陣，以及如何用Matlab去實現後向傳播，然而最關鍵的問題——為什麼要這麼計算？前面計算
機器學習公開課筆記(2)：多元線性迴歸
多元線性迴歸 一元線性迴歸只有一個特徵$x$，而多元線性迴歸可以有多個特徵$x_1, x_2, \ldots, x_n$ 假設 (Hypothesis)：$h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\ldots+\theta_nx_n$ 引數 (Para
機器學習公開課筆記(4)：神經網路(Neural Network)——表示
動機(Motivation) 對於非線性分類問題，如果用多元線性迴歸進行分類，需要構造許多高次項，導致特徵特多學習引數過多，從而複雜度太高。 神經網路(Neural Network) 一個簡單的神經網路如下圖所示，每一個圓圈表示一個神經元，每個神經元接收上一層神經元的輸出作為其輸入，同時其輸出訊號到下一
斯坦福Andrew Ng---機器學習筆記（二）：Logistic Regression(邏輯迴歸)
內容提要 這篇部落格的主要內容有： - 介紹欠擬合和過擬合的概念 - 從概率的角度解釋上一篇部落格中評價函式J(θ)” role=”presentation” style=”position: relative;”>J(θ)J(θ)為什麼用最
Andrew NG 機器學習 筆記-week11-應用例項：圖片文字識別（Application Example：Photo OCR）
1、問題描述和流程圖（Problem Description and Pipeline） photo OCR：photo Optical Character Recognition 影象文字識別，要求從一張給定的圖片中識別文字。 為了完成這樣的工作，需
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 10—Advice for applying machine learning
Lecture 10—Advice for applying machine learning 10.1 如何除錯一個機器學習演算法？ 有多種方案： 1、獲得更多訓練資料；2、嘗試更少特徵；3、嘗試更多特徵；4、嘗試新增多項式特徵；5、減小 λ；6、增大 λ 為了避免一個方案一個方
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 11—Machine Learning System Design
Lecture 11—Machine Learning System Design 11.1 垃圾郵件分類 本章中用一個實際例子： 垃圾郵件Spam的分類 來描述機器學習系統設計方法。首先來看兩封郵件，左邊是一封垃圾郵件Spam，右邊是一封非垃圾郵件Non-Spam：垃圾郵件有很多features。如果我
【原】Coursera—Andrew Ng機器學習—Week 8 習題—聚類 和 降維
【1】無監督演算法 【2】聚類 【3】代價函式 【4】 【5】K的選擇 【6】降維 Answer：本來是 n 維，降維之後變成 k 維（k ≤ n） 【7】 【8】 Answer： 斜率-1 【9】 Answer： x 是一個向
【原】Coursera—Andrew Ng機器學習—Week 10 習題—大規模機器學習
【1】大規模資料 【2】隨機梯度下降 【3】小批量梯度下降 【4】隨機梯度下降的收斂 Answer：BD A 錯誤。學習率太小，演算法容易很慢 B 正確。學習率小，效果更好 C 錯誤。應該是確定閾值吧 D 正確。曲線不下降，說明學習率選的太大 【5】線上學習
【原】Coursera—Andrew Ng機器學習—彙總（課程筆記、測驗習題答案、程式設計作業原始碼）
一、Coursera 斯坦福機器學習課程，Andrew Ng Coursera連線不上，修改hosts檔案 機器學習工具Octave安裝（Win10環境） 課程地址和軟體下載
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 12—Support Vector Machines 支援向量機
Lecture 12 支援向量機 Support Vector Machines 12.1 優化目標 Optimization Objective 支援向量機(Support Vector Machine) 是一個更加強大的演算法，廣泛應用於工業界和學術界。與邏輯迴歸和神經網路相比, SVM在學習複雜的非
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 14—Dimensionality Reduction 降維
Lecture 14 Dimensionality Reduction 降維 14.1 降維的動機一:資料壓縮 Data Compression 現在討論第二種無監督學習問題：降維。 降維的一方面作用是資料壓縮，允許我們使用較少的記憶體或磁碟空間，也加快演算法速度。 例子： 假設我們用兩個特徵描述一個物