迴歸與分類
1.線性迴歸有:⑴嶺迴歸     ⑵Lasso迴歸
2.機器學習主要分為有監督學習和無監督學習兩種。
3．無監督：事先沒有任何訓練資料樣本，需要直接對資料建模。
或者：通過已有的訓練（即已知資料及其對應的輸出）來訓練，從而得到一個模型，再利用這個模型將所有新的資料樣本對映為相應的輸出結果，對輸出結果進行簡單的判斷從而實現分類目的，那麼這個模型就具有了對未知資料進行分類的能力。
例如：
◆聚類
◆PCA

4.迴歸：用於分析兩個變數X和Y的關係
5.線性迴歸一般形式：
 
通常第一項X0=1，θ0=b
6.誤差函式與高斯分佈有關
 
從而得出,損失函式為：
 
 

通過矩陣求偏導得

又因為矩陣求導法則：
 
例如：

得到最終結果：

二．2． 嶺迴歸
    對於有些矩陣，矩陣中某個元素的一個很小的變動，會引起最後計算結果誤差很大，這種矩陣稱為“病態矩陣”。有些時候不正確的計算方法也會使一個正常的矩陣在運算中表現出病態。對於高斯消去法來說，如果主元（即對角線上的元素）上的元素很小，在計算時就會表現出病態的特徵。迴歸分析中常用的最小二乘法是一種無偏估計。
嶺迴歸是對最小二乘迴歸的一種補充，它損失了無偏性，來換取高的數值穩定性，從而得到較高的計算精度。
 
二．3． 欠擬合和過擬合
 
解決方法：
 
正則化理解：
 
 

二．3. Lasoo迴歸（L1正則化）：