在上一節中，我們介紹了最簡單的學習演算法——最小二乘法去預測奧運會男子100米時間。但是可以發現，它的自變數只有一個：年份。通常，我們所面對的資料集往往不是單個特徵，而是有成千上萬個特徵組成。那麼我們就引入特徵的向量來表示，這裡涉及到矩陣的乘法，向量，矩陣求導等一些線性代數的知識。

一. 將擬合函式由單變數改寫為多變數

設我們的擬合函式

f(xi;ω)=ωTxi

其中， w表示擬合函式的引數，xi表示資料集中第i條資料。

對於上節中的f(x;a,b)=ax+b,我們可以令

ω=[ab],xi=[x1]

則這兩個函式等價。為了方便推導，我們在損失函式前邊加上1N,由於N是定值，它代表資料集的記錄數。那麼，損失函式可以寫為：

L=1N∑i=1N(yi−ωTxi)2=1N(y−Xω)T(y−Xω)（1）
那麼上式的推導過程也很簡單，令
X=⎡⎣⎢⎢⎢⎢⎢xT1xT2⋮xTn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢11⋮1x1x2⋮xn⎤⎦⎥⎥⎥⎥ y=⎡⎣⎢⎢⎢⎢⎢y1y2⋮yn⎤⎦⎥⎥⎥⎥⎥,ω=[ω0ω1]

帶入（1）式即可得證，此處略過。

二.多特徵下求解引數 ω

L=1N(y−Xω)T(y−Xω)=1N(yT−ωTXT)(y−Xω)=1N(yTy−yTXω−ωTXTy+ωTXTXω)=1N(ωTXTXω−2ωTXTy+yTy)(2)
我們的目標是讓損失函式最小，即求（2）的最小值，我們對ω求偏導數，令其等於0，就可以求出L

取得極小值時引數ω的值。
∂L∂ω=1N(2XT

相關推薦

機器學習筆記（二）——多變數最小二乘法

在上一節中，我們介紹了最簡單的學習演算法——最小二乘法去預測奧運會男子100米時間。但是可以發現，它的自變數只有一個：年份。通常，我們所面對的資料集往往不是單個特徵，而是有成千上萬個特徵組成。那麼我們就引入特徵的向量來表示，這裡涉及到矩陣的乘法，向量，矩陣求導等

Python時間序列LSTM預測系列學習筆記（9）-多變數

本文是對： https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras/ https://blog.csdn.net/iyangdi/article/details/77881755

Python時間序列LSTM預測系列學習筆記（8）-多變數

本文是對： https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras/ https://blog.csdn.net/iyangdi/article/details/77879232

Python時間序列LSTM預測系列學習筆記（7）-多變數

本文是對： https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras/ https://blog.csdn.net/iyangdi/article/details/77877410

R語言與點估計學習筆記（刀切法與最小二乘估計）

一、       刀切法（jackknife）         刀切法的提出，是基於點估計準則無偏性。刀切法的作用就是不斷地壓縮偏差。但需要指出的是縮小偏差並不是一個好的辦法，因為偏差趨於0時，均方誤差會變得十分大。而且無偏性只有在大量重複時才會表現出與真值的偏差不大。Ja

Andrew Ng機器學習筆記2——梯度下降法and最小二乘擬合

今天正式開始學習機器學習的演算法，老師首先舉了一個例項：已知某地區的房屋面積與價格的一個數據集，那麼如何預測給定房屋面積的價格呢？我們大部分人可以想到的就是將畫出房屋面積與價格的散點圖，然後擬合出價格關於面積的曲線，那麼對於一個已知的房屋面積，就可以在擬合的曲線上得到預測的

機器學習筆記（一）：最小二乘法和梯度下降

一、最小二乘法 1.一元線性擬合的最小二乘法 先選取最為簡單的一元線性函式擬合助於我們理解最小二乘法的原理。 要讓一條直接最好的擬合紅色的資料點，那麼我們希望每個點到直線的殘差都最小。 設擬合直線為

機器學習筆記（十）：TensorFlow實戰二（深層神經網路）

1 - 深度學習與深層神經網路 深度學習的精確定義為：“一類通過多層非線性變換對高複雜性資料建模演算法的集合” 因此，多層神經網路有著2個非常重要的特性 多層 非線性 1.1 - 線性模型的侷限性 線上性模型中，模型的輸出為輸入的加權和，假設一

機器學習筆記（六）神經網路引入及多分類問題實踐

一、 神經網路引入 我們將從計算機視覺直觀的問題入手，提出引入非線性分類器的必要性。首先，我們希望計算機能夠識別圖片中的車。顯然，這個問題對於計算機來說是很困難的，因為它只能看到畫素點的數值。 應用機器學習，我們需要做的就是提供大量帶標籤的圖片作為訓練集，有的圖片是一輛車，有的圖片不是一輛車，最終我們

機器學習筆記（六）-吳恩達視訊課程（神經網路學習 二）

1.代價函式    神經網路層數L，表示L層（最後一層）神經元個數，表示每層的輸出神經元數   二類分類：=1 輸出層有一個神經元，輸出的y是一個實數 y = 0 or 1 表示類別   多類別分類：一共有K類，則=K，輸出層有K個神經元，&nbs

機器學習筆記（一）邏輯迴歸與多項邏輯迴歸

1.邏輯迴歸與多項邏輯迴歸 1.1什麼是邏輯迴歸？ 邏輯迴歸，可以說是線上性迴歸的基礎上加上一個sigmoid函式，將線性迴歸產生的值歸一化到[0-1]區間內。sigmoid函式如下： ​

機器學習筆記（三）——正則化最小二乘法

一. 模型的泛化與過擬合 在上一節中，我們的預測函式為： f(x;ω)=ωTx 其中， x=[x1],ω=[ω1ω0] 上述稱為線性模型，我們也可以將x擴充套件為： x=⎡⎣⎢⎢⎢⎢⎢⎢⎢xn⋮x2x1⎤⎦⎥⎥⎥⎥⎥⎥⎥,ω=⎡⎣⎢⎢⎢⎢⎢⎢⎢ωn⋮

機器學習筆記（四）機器學習可行性分析

資料 表示 image 隨機 訓練樣本 -s mage 例如 lin 從大量數據中抽取出一些樣本，例如，從大量彈珠中隨機抽取出一些樣本，總的樣本中橘色彈珠的比例為，抽取出的樣本中橘色彈珠的比例為，這兩個比例的值相差很大的幾率很小，數學公式表示為： 用抽取到的樣本作為訓練

機器學習筆記（六）邏輯回歸

邏輯回歸 alt 表示 結果 不變 改變 最小值 nbsp 可能性 一、邏輯回歸問題 二分類的問題為是否的問題，由算出的分數值，經過sign函數輸出的是（+1，-1），想要輸出的結果為一個幾率值，則需要改變函數模型 ，其中，， 則邏輯回歸的函數為 二、邏輯回歸錯誤評價 線性

機器學習筆記（八）非線性變換

nbsp 線性 logs 等於 線性模型 images http 自己 空間 一、非線性問題 對於線性不可分的數據資料，用線性模型分類，Ein會很大，相應的Ein=Eout的情況下，Eout也會很大，導致模型表現不好，此時應用非線性模型進行分類，例如： 分類器模型是一個圓

python3學習筆記（三）多線程與多進程

ttr pid make start lee close gif 自己 oops 線程thread，庫threading 進程process，庫Process 使用起來方法跟其他語言相似，也不需要下載其他的庫，語言自帶的庫裏就有 1.多線程的例子 1 #coding=

機器學習筆記（一）

get 實現 mach 理論 怎樣 算法 分類 AI 結構 1、基礎概念 　　什麽是機器學習? 　　機器學習(Machine Learning, ML)是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的

機器學習筆記（2）——CART樹

而後 並不是 參數 生成 AS 最大值 介紹 ... 訓練數據 　CART樹 　　CART樹與上一篇文章提到的ID3、C4.5的區別在於： 　　（1）CART樹只能夠生成2個結點，即CART樹是一棵二叉決策樹，而後兩者在進行劃分時可以根據特征值的種類生成2個以上的結點

吳恩達機器學習筆記（六） —— 支持向量機SVM

次數 括號 圖片 最小 我們 支持向量機svm UNC 意思 strong 主要內容： 一.損失函數 二.決策邊界 三.Kernel 四.使用SVM 一.損失函數 二.決策邊界 對於： 當C非常大時，括號括起來的部分就接近於0，所以就變成了：

模式識別與機器學習筆記（一）

本系列博文是對研一課程《模式識別與機器學習》的隨堂筆記，希望將老師所講的與自己的見解記錄下來，方便加深自己的理解以及以後複習檢視，筆記完全按照老師所講順序，歡迎交流。 一、模式識別與機器學習的基本問題 機器學習主要解決以下四類問題： 1.監督學習：指的是訓練的資料既包括特徵（feat