1 最小二乘法求解矩陣形式推導

• 設訓練樣本集為 $(x_i,y_i$
  ) (x_i,y_i) ，一元（向量）線性迴歸可表示為： $f(x_i$
  ) = w T x i ⃗
  + b f(x_i)=w^T\vec{x_i}+b
• 若把樣本輸入 $\vec{x_i}$表示成矩陣形式（設有n個樣本輸入，每個輸入有d個特性），有： $\boldsymbol X=\begin{bmatrix}x_{11} &x_{12}&...&x_{1d}&1\\x_{21} &x_{22}&...&x_{2d}&1\\...&...&...&...&...\\x_{n1} &x_{n2}&...&x_{nd}&1\end{bmatrix}=\begin{bmatrix}{x_1^T}&&1\\{x_2^T}&&1\\...&&...\\{x_n^T}&&1\end{bmatrix}$其中1表示偏置 $b$， ${\widetilde w}=(\vec w;b)$
• 則多元線性迴歸可表示為： $\vec y=\boldsymbol X{\widetilde w}$其中 $\vec y=(y_1,y_2,...,y_n)$表示樣本標籤
• 最小二乘法可表示為 ${\underset {w}{min}||\vec y - \boldsymbol X{\widetilde w}||_2}^2=\underset{w}{min}(\vec y - \boldsymbol X{\widetilde w})^T(\vec y - \boldsymbol X{\widetilde w})$ $\begin{array}{cc}{\displaystyle L_w}& {\displaystyle =\frac{1}{2}(\vec{y}-\mathit{X}\tilde{w}{)}^T(\vec{y}-\mathit{X}\tilde{w})}\\ {\displaystyle }\end{array}$