前言

從去年底開始接觸機器學習，由於自己數學一直是不及格加畢業後就幾乎沒用過的狀態，很多公式和原理都不記得或者上學時就沒認真聽過的，因此看機器學習的書，連看懂符號都很難。
之前看過網上一個關於如果讓程式設計師來寫的數學教材的段子

然後我看機器學習的書基本就是這樣的狀態，一頭霧水，很多文章在推導公式的過程中不會說用到了什麼公理，法則，或者不會提自己用到的變數符號的定義。
不過當自己學習了一段時間以後也發現要把公式推導過程清楚的記錄下來確實太難了，需要精心的編排， 不過如果是聽老師講課，再結合自己查相關數學公式和知識，應該要快很多。
自己這篇文章希望能把機器學習中用到的數學公式和符號都串聯起來，讓後面學習的人可以更容易把裡面用到的數學知識串聯起來。

機器學習之一: 線性迴歸

1.線性迴歸簡介

1. 迴歸的定義: 指的是確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。迴歸分析按照涉及的變數的多少，分為一元迴歸和多元迴歸分析。
2. 線性迴歸: 線性迴歸使用最佳的擬合直線（也就是迴歸線）在因變數（Y）和一個或多個自變數（X）之間建立一種關係的迴歸方法。
3. 一元線性迴歸: 只有一個自變數的線性迴歸。
4. 多元線性迴歸: 有多個自變數的線性迴歸。

2.一些術語

1. 擬合: 形象的說，擬合就是把平面上一系列的點，用一條光滑的曲線連線起來。因為這條曲線有無數種可能，從而有各種擬合方法。擬合的曲線一般可以用函式表示
2. 欠擬合: 欠擬合就是模型沒有很好地捕捉到資料特徵，不能夠很好地擬合數據
3. 過擬合: 過擬合是指為了得到一致假設而使假設變得過度嚴格。通常就是對訓練資料判斷非常準，但是泛化到新資料的時候就不準了的情況，避免過擬合是機器學習中一個核心任務。

4. 自變數(Independent variable)

   1. f(x) = ax+b中， x就是自變數，是一個函式式中對結果產生影響的變數
   2. 看英文才知道，自變數是不受其他影響的變數

5. 因變數(dependent variable)

   1. f(x) = y = ax+b 中，y就是因變數，是自變數導致的結果變數
   2. 也是看英文才知道，因變數是要受到其他影響的變數

3.用到的數學知識

1. 線性代數中的向量，矩陣。
2. 矩陣四則運算，逆矩陣，矩陣轉置，矩陣的跡。
3. 微積分中的導數，偏導數，求導方法，矩陣求導方法。
4. 最小二乘法

數學符號

1. 導數的符號
   f′(x)$$f^{\prime }(x)$$
   dydx$$\frac{\mathrm{d}y}{\mathrm{d}x}$$
2. 偏導數
   ∂∂θiJ(θ)$$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_i}J(\theta )$$
3. 矩陣轉置T
   AT$$A^T$$
4. 矩陣的跡tr
   trA$$trA$$

3.1導數

1. 導數（Derivative）是微積分中的重要基礎概念。當函式y=f(x)的自變數X在一點x0上產生一個增量Δx時，函式輸出值的增量Δy與自變數增量Δx的比值在Δx趨於0時的極限a如果存在，a即為在x0處的導數，記作f’(x0)或df/dx(x0)。
2. 設有二元函式z=f(x,y)，點(x0,y0)是其定義域D內一點.把y固定在y0而讓x在x0有增量△x，相應地函式z=f(x,y)有增量(稱為對x的偏增量)△z=f(x0+△x,y0)-f(x0,y0)。如果△z與△x之比當△x→0時的極限存在，那麼此極限值稱為函式z=f(x,y)在(x0,y0)處對x的偏導數(partial derivative)。記作f’x(x0,y0)。
   f′(x)=lim△x→0f(x+△x)−f(x)△x$$f^{\prime }(x)=\underset{△x\to 0}{lim}\frac{f(x+△x)-f(x)}{△x}$$
3. 導數和偏導沒有本質區別,都是當自變數的變化量趨於0時,函式值的變化量與自變數變化量比值的極限.一元函式,一個y對應一個x,導數只有一個.二元函式,一個z對應一個x和一個y,那就有兩個導數了,一個是z對x的導數,一個是z對y的導數,稱之為偏導.
4. 一元函式,一個y對應一個x,導數只有一個.
   二元函式,一個z對應一個x和一個y,那就有兩個導數了,一個是z對x的導數,一個是z對y的導數,稱之為偏導.
   

   求偏導時要注意,對一個變數求導,則視另一個變數為常數,只對改變數求導,從而將偏導的求解轉化成了一元函式的求導了。

3.2求導運演算法則

1. 符號: y’ 表示y的導數
2. 基本法則
   (C)′=0$${(C)}^{\prime }=0$$
   (xn)′=nxn−1$${(x^n)}^{\prime }=n{x}^{n-1}$$

4. 線性迴歸推導

4.1 場景和設定

1. 我們想要分析房價(Y) 與一些輸入特徵，比如面積(x1)，房間數(x2)之間的關係，這裡面房價就是我們要預測的結果，就是因變數;房間數和麵積就是對房價的影響變數，也就是自變數。
2. 我們用h(x)表示我們要預測的房價結果，這裡h是hypothesis(假設).
3. θ是我們想要通過機器學習求出的影響引數(parameters)，有多少個自變數就有多少影響引數。
4. hθ(x)表示對特徵x預測的花費(cost)， 下面的方程也就是cost function
5. n表示特徵數量，i表示第i個特徵
6. m表示樣本數量, j表示第j個樣本

4.2方程表示

1. 當只有一個自變數時，線性迴歸方程的寫法是
   h(x)=hθ(x)=θ0+θ1x1$$h(x)=h_{\theta }(x)={\theta }_0+{\theta }_{1}x1$$
2. 當有兩個自變數時，就是多元線性迴歸
   h(x)=hθ(x)=θ0+θ1x1+θ2x2$$h(x)=h_{\theta }(x)={\theta }_0+{\theta }_{1}x1+{\theta }_{2}x2$$
3. 為了簡化寫法，設定x0=1， 則可以寫成求和方程，並簡化為向量表示方法
   hθ(x)=∑i=02θixi=θTX$$h_{\theta }(x)=\sum _{i=0}^2{\theta }_i{x}_i={\theta }^{T}X$$
4. 顯然hθ(x)是個實數

4.3最小二乘法求解(least square)

1. 我們想通過求每個θ的值，帶入到未知房屋求解房價，當針對每個樣本用hθ(xi)求出的價格跟訓練樣本的已知價格誤差之和最小時，說明我們的影響引數θ是最準的，因此是求讓所有樣本誤差最小的引數θ
2. 通過誤差(殘差)平方和的最小值來尋找資料的最佳函式匹配的方法就是最小二乘法.

3. 求解目標的方程表示
   

   J(θ)=minθ12∑i=1m(hθ(x(i))−y(i))2$$J(\theta )=mi{n}_{\theta }\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

   為什麼要用1/2呢，是因為這對後面求解方程有好處，但是也不會影響最終結果才加上的

4. 一般有兩種最小二乘法的求解方法，noraml equation(一般函式求解)和Gradient Descent(梯度下降法)

5. 先給出結果方程, noraml equation(一般函式求解)，θ上面加個^表示是估計值。
   θˆ=(XTX)−1XTy$$\hat{\theta }=(X^{T}X{)}^{-1}{X}^{T}y$$
6. 梯度下降法求解的結果方程式
   

   相關推薦

   機器學習筆記(一):多元線性迴歸

   前言 從去年底開始接觸機器學習，由於自己數學一直是不及格加畢業後就幾乎沒用過的狀態，很多公式和原理都不記得或者上學時就沒認真聽過的，因此看機器學習的書，連看懂符號都很難。 之前看過網上一個關於如果讓程式設計師來寫的數學教材的段子 然後我看機器學習的書基

   吳恩達機器學習練習1——多元線性迴歸

   機器學習練習1——多元線性迴歸均值歸一化代價函式梯度下降練習1資料集均值歸一化代價函式梯度下降正規方程 多變數線性迴歸 均值歸一化 代價函式 梯度下降 練習1 資料集 x1：the size of the house (in square fee

   機器學習筆記之四——線性迴歸原理以及推導

   一元線性迴歸：   對於樣本[(x1,y1),(x2,y2),……(xn,yn)]，xi為特徵，yi為標籤。(字幕i代表下標)   假定y與x有：                 

   機器學習筆記2：線性迴歸

   機器學習筆記2：線性迴歸 Andrew Ng機器學習課程學習筆記2 線性迴歸 引數說明： 　　θi:parameters，引數 　　x:input，輸入 　　y:output，輸出 　　h:hypothesis，假設 　　m:資料數量 迴歸方程： 　　一元線性的迴歸方程的一

   機器學習筆記(1)：線性迴歸

   初次接觸機器學習的朋友們，建議先把這篇概念性的科普文章，精讀5遍以上：神經網路淺講：從神經元到深度學習 裡面有大量的矩陣向量的操作，不熟悉NDArray的，建議先看上一篇mxnet安裝及NDArray初體驗 下面這個示例的思路，先講解一下，不然不知道它們在幹嘛：） 先給出一個線性方程（1），如下圖：

   《機器學習》 一，線性迴歸

   機器學習思維導圖 一，什麼是線性迴歸 線性：y=a*x 一次方的變化 迴歸：迴歸到平均值 簡單線性迴歸 演算法==公式 一元一次方程組 一元指的一個X：影響Y的因素，維度 一次指的X的變化：沒有非線性的變化 y = a*x + b x1,y1 x2,y2 x3,

   機器學習筆記四：線性迴歸回顧與logistic迴歸

   一.再看線性迴歸 之前我們選擇線性迴歸的時候，只是認為那些資料看上去很符合線性的樣子，選擇最小平方損失函式的時候，也是直接提出來的，沒有考慮過為什麼會是這個樣子。接下來就從概率的角度來解釋這些問題。 首先假設目標變數和輸入與下面這個方程相關： 其中是一

   機器學習（一）線性迴歸

   　　哇！耽擱了兩天，今天來把第一篇正兒八經的機器學習的演算法部落格補上，其實我也是在校學生一枚，看了很多演算法和別人的總結，寫了很多筆記。所以現在想試著把自己之前整理過的筆記和思考之後的注意點寫下來，如果有問題歡迎給我指出來哦~ 1.什麼是線性迴歸

   斯坦福CS229機器學習課程筆記一：線性迴歸與梯度下降演算法

   機器學習三要素 機器學習的三要素為：模型、策略、演算法。 模型：就是所要學習的條件概率分佈或決策函式。線性迴歸模型 策略：按照什麼樣的準則學習或選擇最優的模型。最小化均方誤差，即所謂的 least-squares(在spss裡線性迴歸對應的模組就叫OLS即Ordinary Least Squares)：

   CSDN機器學習筆記一 概述、線性迴歸

   一、課程知識點 講師：唐宇迪 本次課程 1.系列課程環境配置 2.機器學習概述 3.線性迴歸演算法原理推導 4.邏輯迴歸演算法原理 5.最優化問題求解 6.案例實戰梯度下降 一、機器學習處理問題過程及常用庫 1. 機

   吳恩達機器學習筆記一_單變量線性回歸

   gre ima 梯度下降算法 line 公式 delta mat 所有 pan 單變量線性回歸 綱要 代價函數 梯度下降算法 全局最優與局部最優 代價函數 函數定義： \[ J(\theta_0,\theta_1,...)=\frac{1}{2m}\sum_{i=1}^

   機器學習筆記一------線性分類器

   線性模型，使用最小二乘引數估計使模型預測結果與實際結果y之間的均方誤差最小，得到引數w和b（其中b可以算作w的最後一列，對應屬性值恆置為1）。 線性模型形式簡單，易於建模，引入層級結構或高維對映後可得到更為搶到的非線性結構。為廣義線性模型，有加權最小二乘法或極大似然法進行引

   機器學習公開課筆記(1)：機器學習簡介及一元線性迴歸

   初步介紹 監督式學習: 給定資料集並且知道其正確的輸出應該是怎麼樣的，即有反饋（feedback），分為 迴歸 （Regressioin）: map輸入到連續的輸出值。 分類 （Classification）：map輸出到離散的輸出值。 非監督式學習: 給定資料集，並不知道其正確的輸出是什麼，

   Andrew機器學習課程 章節3——線性迴歸回顧

   本章主要講解了一些基本的線性代數知識。（非常基礎，沒看視訊的感覺可以直接跳過，防止浪費時間） matrix（矩陣）：在數學中，矩陣（Matrix）是一個按照長方陣列排列的複數或實數集合 vector（向量）：特殊的矩陣，只有一列的矩陣，即 Nx1 matrix 一般使用小寫字

   機器學習筆記(一)初識機器學習

   機器學習：目前沒有統一的定義 現有定義： 1.samuel（1950）: 在沒有明確設定的情況下，使計算機具有學習能力。 2.TOM（更新的定義)：計算機程式從經驗E(Experience)中學習，解決某一任務T(Task)，進行某一效能度量P(Performance)，通過P測定在T上的表現因經驗

   機器學習之優雅落地線性迴歸法

   在統計學中，線性迴歸（Linear regression）是利用稱為線性迴歸方程的最小二乘函式對一個或多個自變數和因變數之間關係進行建模的一種迴歸分析維基百科。 簡單線性迴歸 當只有一個自變數的時候，成為簡單線性迴歸。 簡單線性迴歸模型的思路 為了得到一個簡單線性迴歸模型，假設存在以房屋面積為特徵

   機器學習 （六） 線性迴歸演算法分析概覽

   前言        前面介紹了迴歸家族中的邏輯迴歸，本篇部落格我們開始介紹線性迴歸演算法相關的問題，正所謂不同的特徵資料有不同的演算法來對待，今天我們要研究的這個演算法正好是具有線性特徵的資料所具有的特徵，與前面演算法的一個

   吳恩達機器學習之多變數線性迴歸實現部分

   C++實現梯度下降法 “linear_regression.h” //多變數線性迴歸模型 struct elem_var2 { double y; double* x; //用陣列傳入自變數資料(x[0]=1,便於之後的計算) }; class var2

   吳恩達機器學習之多變數線性迴歸理論部分

   本部落格主要參考此部落格：戀雨心 一.Multiple Features — 多維特徵 相對於單變數線性迴歸模型，多變數線性迴歸模型適用於處理多個變數/特徵。 對比： 以之前我們介紹的單變數線性迴歸模型為例： 用房屋面積x預測房子價格y。 現在我們對房價模型增加更多的特徵，例如房間

   吳恩達機器學習之單變數線性迴歸實現部分

   C++實現 程式碼實現 “linear_regression.h” //單變數線性迴歸模型 struct elem_var1 { double x, y; //訓練集元素資料：自變數、因變數 }; class var1_lin_reg { p