2. 程式人生 > >我的人工智慧之旅——線性迴歸

我的人工智慧之旅——線性迴歸

阿新 • • 發佈：2018-11-12

本文將涉及以下知識點

（1）線性關係

（2）線性迴歸

（3）假設函式

（4）代價函式

（5）學習速率

（6）梯度下降

（7）特徵向量

相關的線性代數或微積分知識，可參照另兩篇博文

我的人工智慧之旅----線性代數基礎知識

我的人工智慧之旅----微積分基礎知識

以下是正文。

線性關係

解釋線性迴歸之前，先來看一下線性關係。

什麼是線性關係？如果自變數與因變數存在一次方函式關係，那麼就成自變數與因變數存線上性關係。例如

y=2x+3 //x為自變數，y為因變數
y=2j+3k+i //j,k,i為自變數，y為因變數

但需要注意的是，類似

y=zx //z,x為自變數，y為因變數

就不是線性關係。

線性關係還必須滿足以下條件

f(x_1+x_2)=f(x_1)+f(x_2)

f(ax)=a\cdot f(x)

線性迴歸

所謂線性迴歸，就是利用數理統計中的迴歸分析，來確定兩種或兩種以上變數間，相互依賴的定量關係的一種統計分析方法。

即由樣本（x,y），推斷y=ax+b的過程。其中a,b為需要推斷的常量。那麼，問題來了。

（1）為什麼是"y=ax+b"型的一元一次結構？而非其它一元N次結構？

（2）如何推算出a，b?

假設函式

先來回答上一小節的問題（1）。可以使用其它一元N次結構。選擇一元一次結構只是為了方便。之後的學習，可以換為更復雜的擬合結構。由於我們假設x,y之間存在"y=ax+b"型的對映關係，所以函式f(x)=ax+b被稱為假設函式，hypothesis function。

對於假設函式中的引數a,b，我們沒有辦法直接算出正確的值。也無法讓所有樣本，都對映到假設函式上。因此，只能推算出對於樣本集合整體來說，最佳的a，b取值。

代價函式

如何評斷引數a，b最佳？最佳a，b應使得假設函式求得的資料，與實際資料之間誤差的平方和為最小。

注：關於為何使用1/2m，而非1/m，我們在下一小節說明。

由於樣本集中的每個樣本（x,y）已知，算式中a和b成為了變數，算式可以看作是a，b作為變數的函式。即

該函式，被稱為代價函式，cost function，或者平方誤差代價函式，squared error cost function。

有了代價函式，推算a,b的問題就演化為，求代價函式何時取到最小值的問題。

當然，除了平方誤差代價函式外，還存在其它代價函式。只是平方誤差代價函式，是解決線性迴歸問題最常用的手段罷了。

但不管使用何種代價函式，我們的目的終歸是要推算最佳的a,b。那麼，如何推算呢？

梯度下降演算法

梯度下降演算法，gradient descent，用於求函式的最小值。該演算法運用了微積分（claculus）中的導數（derivatives）或偏導數（partial derivatives）知識。

簡單的說，導數體現了自變數在變化時，對因變數所產生的影響。若存在多個自變數，那麼對其中一個變數進行的求導，即為偏導數。換句話說，一個自變數在變化時，對因變數和其它自變數鎖產生的影響。

若某一點的導數大於0，那麼說明，因變數隨自變數增大而增大，隨自變數減小而減小。若小於0，則因變數隨自變數的增大而減小，隨自變數減小而增大。依據該特性，我們不斷地同時更新a，b的取值，直至（a,b）所對應的點導數為0。那麼，如何更新呢？

我們將J(a,b)帶入，來看一下運算過程。

還記得上一節的“1/2m”or“1/m”的疑問嗎？通過運算，“1/2”被約掉。因此，代價函式之所以取“1/2m”作為引數，是為來運算方便。

將導數結果帶入，通過不斷的迭代嘗試獲取a_{next}和b_{next}，直至兩者的偏導數為0或接近0。此時，得到的a,b的值，即為最佳值（全域性最佳，或區域性最佳）。

需要注意的是，由於受限於樣本集合的大小，該最佳值可能為區域性最佳值。

此外，初始點的選取，也將影響最佳值的推算。

可見，梯度下降演算法其實是一步一步的試出了對於樣本集合最佳的a,b取值。有了a,b的估值，假設函式的真容也便浮出水面了。

梯度下降，並非唯一的推算最佳引數的方法。其它常用方法還包括，BFGS演算法，L-BFGS演算法，共軛梯度法（Conjugate Gradient）等。這些方法遠比梯度下降法複雜的多，但優點在於，它們不用人為的選擇學習率，甚至可以每次迭代自動使用更優的學習率，因此收斂速度較梯度下降更快。由於篇幅及範圍的原因，此處暫不過多涉及。

多元線性迴歸

至此，我們其實還是在討論一元一次的簡單假設，即一個自變數和一個因變數的情況。但實際遇到的問題並非如此簡單。例如，房子的價值，不僅僅與面積有關，還要參考樓層，房齡，房間數量等多重因素，即多元線性迴歸的問題。

那麼，我們的假設函式也相應發生了變化。

f(x_0,x_1,x_2,x_3)=a_0+a_1x_1+a_2x_2+a_3x_3

這裡，我麼把引數都變為了a_i，自變數變為了x_i（例如，x_1,x_2,x_3分別代表樓層,房齡，房間數量，x_0預設為1）。之所以這樣表示，是為了方便矩陣的引入。根據矩陣內積（矩陣與向量的乘法），f(x_0,x_1,x_2,x_3)可以表述為

f(x_0,x_1,x_2,x_3)= \begin{bmatrix} a_0&a_1&a_2&a_3 \end{bmatrix}*\begin{bmatrix} 1 \\ x_1 \\ x_2 \\ x_3 \end{bmatrix}

若假設向量A=\begin{bmatrix} a_0\\a_1\\a_2\\a_3 \end{bmatrix}，向量X=\begin{bmatrix} x_0\\x_1\\x_2\\x_3 \end{bmatrix}，那麼，向量A的轉置A^T=\begin{bmatrix} a_0 &a_1 &a_2 &a_3 \end{bmatrix}

則假設函式轉化為f(X)=A^{T}X，其中x_i稱為特徵(feature)，X稱為特徵向量(feature vector)。

解決多元線性迴歸的問題，我們同樣使用梯度下降演算法，即我們要推算出合適的A。而推算過程，我們已在上一小節進行了描述。那麼，套用之前的公式，可得到代價函式，

J(A^T)=\frac{1}{2m}\sum _{i=1}^{m}{(f(X_i)-y_i)^2}

a_j(j=0,1,2,3)的迭代演算法則為

{a_j}_{next}={a_j}-\beta \frac{\partial }{\partial a_j}J(A^T)

其中

\frac{\partial }{\partial a_j}J(A^T) \\=\frac{\partial }{\partial a_j}(\frac{1}{2m}\sum _{i=1}^{m}{(f(X_i)-y_i)^2}) \\=\frac{\partial }{\partial a_j}(\frac{1}{2m}\sum _{i=1}^{m}(a_0+a_1x_i_1+a_2x_i_2+a_3x_i_3-y_i)^2)

當j=0,1,2,3時，各偏導數為

\frac{\partial }{\partial a_0}J(A^T)=\frac{1}{m}\sum _{i=1}^{m}{(a_0+a_1x_i_1+a_2x_i_2+a_3x_i_3-y_i)}=\frac{1}{m}\sum _{i=1}^{m}{(f(X_i)-y_i)}

\frac{\partial }{\partial a_1}J(A^T)=\frac{1}{m}\sum _{i=1}^{m}{(x_i_1(a_0+a_1x_i_1+a_2x_i_2+a_3x_i_3-y_i))}=\frac{1}{m}\sum _{i=1}^{m}{(x_i_1(f(X_i)-y_i))}

\frac{\partial }{\partial a_2}J(A^T)=\frac{1}{m}\sum _{i=1}^{m}{(x_i_2(a_0+a_1x_i_1+a_2x_i_2+a_3x_i_3-y_i))}=\frac{1}{m}\sum _{i=1}^{m}{(x_i_2(f(X_i)-y_i))}

\frac{\partial }{\partial a_3}J(A^T)=\frac{1}{m}\sum _{i=1}^{m}{(x_i_3(a_0+a_1x_i_1+a_2x_i_2+a_3x_i_3-y_i))}=\frac{1}{m}\sum _{i=1}^{m}{(x_i_3(f(X_i)-y_i))}

由於x_i_0=1，所以

\frac{\partial }{\partial a_j}J(A^T)=\frac{1}{m}\sum _{i=1}^{m}{x_i_j(f(X_i)-y_i)}

最終，引數向量A中的元素a_j的迭代演算法為

a_j_{next}=a_j-\frac{\beta }{m}\sum _{i=1}^{m}{x_i_j(f(X_i)-y_i)}

小結

線性迴歸，可分為一元或多元線性迴歸。通過構建合理的假設函式和代價函式，利用梯度下降演算法，迭代推算出對於樣本集合來說，最佳的引數或引數向量。希望通過本文的敘述，使得大家對推算過程，線性回顧問題的解決思路，有一個大致的瞭解。

相關推薦

我的人工智慧之旅——線性迴歸

本文將涉及以下知識點 （1）線性關係 （2）線性迴歸 （3）假設函式 （4）代價函式 （5）學習速率 （6）梯度下降 （7）特徵向量 相關的線性代數或微積分知識，可參照另兩篇博文 我的人工智慧之旅----線性代數基礎知識 我的人工智慧之旅----微積分基礎

我的人工智慧之旅——線性代數基礎

1.矩陣 矩陣，matrix，為m行n列的資料陣列。例如下例，為4x3階矩陣。 2.方陣 mxn階矩陣的m=n時，稱為方陣，n階方陣。 3.單位矩陣 單位矩陣，是指對角線資料為1，其它資料為0的n階方陣。 4.逆矩陣 逆矩陣，matrix inver

我的人工智慧之旅——邏輯迴歸

本文，將涉及以下知識點， （1）決策邊界，decision boundary （2）凸函式，convex function （3）非凸函式，non convex function 此前所討論的問題，都為線性迴歸問題。本文將介紹邏輯迴歸演算法，該演算法為分類問題提出解決方

我的人工智慧之旅——近鄰演算法KNN（K-Nearest Neighbor）

在影象識別中，影象分類是首要工作。因為需要將不同型別的影象先進行排除。近鄰演算法是最簡單的演算法之一，但由於其弊端的存在，本篇只做瞭解性的簡單介紹， K近鄰演算法的實質 將測試圖片在已經分類好的，具有不同標籤的訓練資料圖片中，找到K張最相似的圖片，進而根據K張圖片中型別的比例大小，推斷圖

我的人工智慧之旅——神經網路

神經元，neuron 神經網路，Neural Networks 啟用函式，activation function 權重，weight 輸入層，input layer 輸出層，output layer 隱藏層，hidden layer 向前傳播，forward prop

我的人工智慧之旅——基本數學基礎

1.自然常數 自然常數e，為無限不迴圈小數，數值約為2.71828...，其數學定義為，即。 2.冪&指數 冪（power），是指乘方運算的結果。是指x個a相乘，稱為a的x次冪。其中，a為底數，x為指數。 指數運算，也稱為冪運算。常用的冪運算公式如下： (1) (

我的人工智慧之旅——微積分基礎

1.導數 從一元函式影象上看，某一點的導數，即曲線在該點的切線。 一個函式在某一點的導數，描述了這個函式在這一點附近的變化率。 當函式f(x)的自變數，在一點x上產生了一個增量h，若因變數的增量與自變數h的比值，在h趨於0時的極限如果存在，那該比值即為f(x)在點x處的導數。

我的人工智慧之旅——正則化

無論線性迴歸，還是邏輯迴歸，都需要對假設函式進行設定。而假設函式的設定，將影響到預測結果的準確性。因此，如何判斷假設函式是否合適，以及如何修改假設函式將變得十分重要。本文，我們將記錄假設函式的正則化。在記錄的過程當中，將涉及以下概念。 （1）過度擬合，overfitting （2）欠擬合

我的人工智慧之旅——梯度下降vs正規方程法

本文將涉及以下知識點 （1）特徵縮放 （2）均值歸一化 （3）正規方程 優化梯度下降演算法 在上一篇博文中，我們瞭解了梯度下降演算法，它為解決線性迴歸問題提供了思路。但梯度下降的迭代推算過程，較為耗時。簡單地說，整個演算法是一個不斷嘗試收斂的過程。如果能夠降低演算法的嘗試次數

我的人工智慧之旅——引子

人工智慧 不想人云亦云，於是來刨別家祖墳，一探究竟。 人工智慧，一個熱得不知所措的話題。就跟當年的“雲”一樣，聊得臭大街了，但什麼是雲？就想把你繞暈，其實都在雲裡霧裡。 人工智慧，artificial intelligence，縮寫AI。由於命名的開放性，使得其定義輪廓較為模糊。簡單

我的人工智慧之旅——概率統計基礎（更新中）

偏差體現的是，學習演算法的期望預測與真實結果的偏離程度。通常出現在欠擬合的情況下。 方差體現的是，同樣大小的訓練集的變動所導致的學習效能的變化。通常出現在過擬合的情況下。訓練效果不錯，但測試效果不好。 數學期望，即平均值。公式為 方差是指，每個樣本值與全體樣本值的平均數

我的人工智慧之旅——偏斜類問題

偏斜類問題 正樣本數佔樣本總數的比例極小時，容易出現偏斜類問題。 例如癌症測試。樣本集合中僅有0.5%的癌症樣本，99.5%的正常樣本。通過某一假設函式後，得到1%為癌症患者，99%為正常樣本。雖然總的正確率高達99%，但假設函式並不理想。因為，我們的目的是為了，檢測出是

7.線性迴歸之多元線性迴歸

概念： 當自變數有多個時，迴歸模型就變成了： 多元迴歸方程變為： 估計多元迴歸方程變為： 估計方法： 多元迴歸的求解比簡單線性迴歸複雜但是思路是相同的，運用最小二乘法進行相應的求解，這裡不再進行展開。 python實現的小例子： 問題：如故一

6.線性迴歸之簡單線性迴歸

起步 線性迴歸是利用數理統計和迴歸分析，來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。與之前的分類問題（Classification ）不一樣的是，分類問題的結果是離散型的；而回歸問題中的結果是數值型的。 描述資料的特徵 1.均值( mean ) 2.中位

Tensorflow之多元線性迴歸問題（以波士頓房價預測為例）

一、根據波士頓房價資訊進行預測，多元線性迴歸+特徵資料歸一化 #讀取資料 %matplotlib notebook import tensorflow as tf import matplotlib.pyplot as plt import numpy as np

機器學習之一元線性迴歸

概述 線性迴歸是利用數理統計中迴歸分析，來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法，運用十分廣泛。其表達形式為y = w'x+e，e為誤差服從均值為0的正態分佈。 迴歸分析中，只包括一個自變數和一個因變數，且二者的關係可用一條直線近似表示，這種迴歸分析稱為一元線性迴歸分析。 如果迴歸分析

演算法學習之旅-線性表及其實現

目錄 （2）查詢 1、順序儲存實現（陣列） 1.1、定義 typedef struct LNode *List; struct LNode{ ElementType Data[MAXSIZ

機器學習筆記之四——線性迴歸原理以及推導

一元線性迴歸：   對於樣本[(x1,y1),(x2,y2),……(xn,yn)]，xi為特徵，yi為標籤。(字幕i代表下標)   假定y與x有：                 

人工智慧入門2.線性迴歸-理解TensorFlow中wb引數的含義

剛開始入門的時候，我們經常遇到單層神經網路模型如下 b = tf.Variable(tf.zeros([1])) W = tf.Variable(tf.random_uniform([1, 1], -1.0, 1.0)) y = tf.matmul(W, x) + b 我們如何去理

sklearn學習筆記之簡單線性迴歸

簡單線性迴歸 線性迴歸是資料探勘中的基礎演算法之一，從某種意義上來說，在學習函式的時候已經開始接觸線性迴歸了，只不過那時候並沒有涉及到誤差項。線性迴歸的思想其實就是解一組方程，得到迴歸函式，不過在出現誤差項之後，方程的解法就存在了改變，一般使用最小二乘法進行計算。 使用sklearn.linear_model