摘要

本文從演算法的模型假設方面，對線性迴歸、邏輯迴歸和感知器做一下簡要對比，說明了它們之間的聯絡。

符號約定

1）樣本集合: (xi,yi)(1⩽i⩽m)$(x^i,y^i)(1⩽i⩽m)$，其中i$i$表示一共m$m$個樣本中的第i$i$個
2）xi=(xi0,xi1,xi2,⋯,xin)(xi0=1)$x^i=(x_0^i,x_1^i,x_2^i,\cdots ,x_n^i)(x_0^i=1)$，表示輸入向量，其中xi0=1$x_0^i=1$是為了統一格式
3）yi$y^i$為標量，代表第i$i$個樣本對應的值（或分類問題中的label）
4）θ=(θ0,θ1,θ2,⋯,θn)$\theta =({\theta }_0,{\theta }_1,{\theta }_2,\cdots ,{\theta }_n)$，表示待求引數
5）x⋅θT=θ0+∑nj=1θjx

問題描述

已知m$m$個樣本(xi,yi)(1⩽i⩽m)$(x^i,y^i)(1⩽i⩽m)$，當x=x0,x0∉(x1,x2,⋯,xm)$x=x^0,x^0\notin (x^1,x^2,\cdots ,x^m)$時，我們想要估計出相對應的輸出y0$y^0$。根據y0$y^0$取值範圍的不同，問題分為兩種情況。
1）當y0$y^0$可以取無限多的連續值時，該問題稱為迴歸問題
2）當y0$y^0$只能取有限多的離散值時，該問題稱為分類問題
P.S. 好吧，第2中情況稱為分類，很好理解。可第1種情況，為啥叫回歸？有啥意義？其實，沒啥意義，完全可以忽略。但感興趣的可以繼續閱讀參考文獻[1]。

線性迴歸 Linear Regression

一、模型假設

二、目標函式