1. 嶺迴歸問題

嶺迴歸就是使用了L2正則化的線性迴歸模型。當碰到資料有多重共線性時（自變良量存在高相關性），我們就會用到嶺迴歸。

嶺迴歸模型的優化策略為：

minw    1N∑i(yi−w⋅zi)2+λNwTw       (1) $mi{n}_w$

1 N ∑ i ( y i − w ⋅ z

i ) 2 + λ N w T w               ( 1 ) $min_w \ \ \ \ \frac{1}{N}\sum_{i}(y_i-w \cdot z_i)^2 + \frac{\lambda}{N}w^Tw \ \ \ \ \ \ \ (1)$

我們由representer Theorem 可以知道，任何L2正則化的線性模型都可以使用$w = \sum_{i =1}^{N}\ \beta_i \ z_i \ \ \ \ \ \ \ (2)$進行轉換，進而使用核技巧。

將（2）代入（1），可以得到 kernel ridge regression 的學習策略形式：

$min_{\beta} \ \ \ \ \frac{1}{N}\sum_{i}(y_i- \sum_{j =1}^{N}\ \beta_j \cdot K(z_i,z_j))^2 + \frac{\lambda}{N} \sum_{i =1}^{N}\ \sum_{j =1}^{N}\ \beta_i\beta_jK(z_i,z_j)\ \ \ \ \ \ \ (3)$

寫成向量形式，kernel ridge regression 的學習策略為：

$min_{\beta} \ \ \ \ L(\beta) = \frac{1}{N} (\beta^TK^TK \beta - 2 \beta^T K^T y +y^Ty) + \frac{\lambda}{N} \beta^TK\beta\ \ \ \ \ \ \ (4)$

利用 常用的矩陣求導公式，可以得出(6),而且K的對稱半正定矩陣，匯出（7）。

$\bigtriangledown_{\beta} \ \ L(\beta) =\bigtriangledown_{\beta} \ \ \frac{1}{N} (\beta^TK^TK \beta - 2 \beta^T K^T y +y^Ty) + \frac{\lambda}{N} \beta^TK\beta\ \ \ \ \ \ \ (5)$

$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\bigtriangledown_{\beta} \ \ \frac{2}{N} (K^TK \beta - K^T y ) + \frac{\lambda}{N} (K^T\beta +K\beta) \ \ \ \ \ \ (6)$