機器學習筆記 第3課：引數演算法和非引數演算法
什麼是引數機器學習演算法？它與非引數機器學習演算法有何不同？
“假設”通常會大大簡化學習過程，但也會限制學到的東西。將函式簡化為已知形式的演算法，稱為引數機器學習演算法。
它包括兩個步驟：
- 選擇函式的形式。
- 從訓練資料中學習該函式的係數。
常見的引數機器學習演算法是線性迴歸和邏輯迴歸。
相反地，不對對映函式的形式做出有力假設的演算法，稱為非引數機器學習演算法。通過不作出任何假設，它可以自由地從訓練資料中學習任何形式的函式。
非引數方法通常更靈活，實現了更高的準確性，但需要更多的資料和訓練時間。
常見的非引數演算法包括支援向量機，神經網路和決策樹。
下一課中我們談談方差、偏差和兩者間的權衡。
相關推薦
機器學習筆記 第3課：引數演算法和非引數演算法
什麼是引數機器學習演算法？它與非引數機器學習演算法有何不同？ “假設”通常會大大簡化學習過程，但也會限制學到的東西。將函式簡化為已知形式的演算法，稱為引數機器學習演算法。 它包括兩個步驟： 選擇函式的形式。 從訓練資料中學習該函式的係數。 常見的引數機器學習演算法是線
bobo老師機器學習筆記-第四課：KNN演算法
自己參考Bobo老師寫得程式碼： 主要分為四個檔案： knn.py中實現KNN演算法、model_selection.py封裝了樣本資料的一些工具方法，比如切分為訓練集和測試集； metrics用來對模型進行評估、client用來呼叫演算法進行執行 # -*- encoding:
機器學習筆記 第2課：適用於所有演算法的原則
機器學習中的監督學習演算法，常常用於預測建模。這些演算法有一個共通的原則。 人們一般這樣來描述機器學習演算法：學習一個目標函式（f），能夠最好地將輸入變數（X）對映到輸出變數（Y）。 Y = f（X） 這是一個常見的學習任務。我們期望在給定新的輸入變數（X）時，對（Y）做出預測。 我們並不知
機器學習筆記 第1課：機器學習中的資料
資料在機器學習中起著重要的作用。 在談論資料時，理解和使用正確的術語非常重要。 你如何看待資料？想想電子表格吧，有列、行和單元格。 從統計視角而言，機器學習的任務是在假設函式( f )的上下文中構建資料。這些假設函式由機器學習演算法通過學習建立。給定一些輸入變數( Input )，該函式回答
機器學習筆記 第5課：線性迴歸演算法
線性迴歸可能是統計學和機器學習中最知名且易於理解的演算法之一。 它不就是一項起源於統計學的技術嗎？ 預測建模主要關注的是讓模型的誤差最小化，或者說，在可以解釋的前提下，儘可能作出最準確的預測。我們會借用，重用，甚至是竊取許多不同領域（包括統計學）的演算法，並將其用於上述的目標。 線性迴歸
機器學習筆記 第4課：偏差，方差和權衡
經由偏差 - 方差的權衡，我們可以更好地理解機器學習演算法。 偏差（bias）是模型所做的簡化假設，其目的是更容易地學習目標函式。 通常，引數演算法具有高偏差。它們學習起來很快，且易於理解，但通常不太靈活。反過來，它們對複雜問題的預測效能較低，無法滿足演算法偏差的簡化假設。 決策樹是一種
機器學習筆記 第6課：邏輯迴歸演算法
邏輯迴歸是機器學習從統計領域借用的又一項技術。它是二元分類問題（即只有兩種型別的分類問題）的首選方法。 邏輯迴歸和線性迴歸的類似之處在於，其目標是找到每個輸入變數的權重係數。 與線性迴歸的不同點是，邏輯函式是非線性函式，邏輯迴歸使用非線性的邏輯函式對輸出結果進行轉換。
機器學習筆記 第13課
（1）關於EM演算法的另一種理解方式 根據Jensen不等式可以得出 不等式構造要優化的最大似然函式 l（sita）的下界 ， 而每一次的重複E、M步驟，實際上是一個座標上升的過程。E步驟，使Qi（z）最大化，M步驟使引數最大化。這也從另一方面驗證了EM演算法是收斂的。 其實一開始提到的K-
機器學習筆記 第12課
開始非監督學習的篇章 （1）K-means 演算法，一個很經典且簡約的非監督學習演算法。演算法過程不再敘述。 K-means演算法的兩個過程：（1）將點分配到相應的類；（2）以均值作為新的類的類中心。實際上反覆的迭代這兩個過程，就是一個座標上升的過程。 初始聚類中心的個數對演算法的效果有
機器學習筆記 第11課
接著第10課末尾，闡述選擇特徵的另一種選擇方式：貝葉斯規範化 （1）貝葉斯規範化 也是為了解釋特徵選取過多造成的過擬合問題 以線性迴歸為例，從頻率學派的觀點出發，當我們利用最大似然法求解迴歸方程中的sita向量時，認為sita就是真
機器學習筆記 第10課
繼續學習有關學習理論方面的知識。 （1）依賴於浮點數為64位，可得到一個不是那麼嚴格的結論，假設線性分類器共有d個引數，即m應與d成線性關係。代入樣本複雜度表示式即可得。 （2）VC維的V和C分別代表兩個人 VC維=3，代表存在一個假設可以使其分散大小為3的集合。並不是要求其對於所有大小為3的
機器學習筆記 第9課
開始關於學習理論的內容了，這比了解演算法，推導公式更為重要 （1）高偏差（bias）和高方差（variance）的權衡---欠擬合與過擬合的權衡 （2）ERM（經驗風險最小化 empirical risk minimizition） 使訓練誤差最小（trainning error即為risk）
Bobo老師機器學習筆記第六課-梯度下降法
思維導圖筆記 數學基礎連結： 為什麼梯度方向是函式值增大最快的方向 為什麼沿著梯度方向函式值上升的最快?為什麼梯度反方向是函式值下降最快的方向？ 練習程式碼 # -*- coding: utf-8 -*- import numpy as np import matplot
Bobo老師機器學習筆記第五課-多元線性迴歸
思維導圖學習筆記 自己參考BoBo老師課程講解實現： # -*- coding: utf-8 -*- import numpy as np from metrics import r2_score class LinearRegression(object): def __
Bobo老師機器學習筆記第五課-線性迴歸演算法的評估指標
評價線性迴歸的指標有四種，均方誤差（Mean Squared Error）、均方根誤差（Root Mean Squared Error）、平均絕對值誤差（Mean Absolute Error）以及R Squared方法。 sklearnz中使用的，也是大家推薦的方法是R Squared方法。
Bobo老師機器學習筆記第五課-簡單線性迴歸
課程地址：https://coding.imooc.com/class/169.html 最小二乘法的推導部落格點選此處 程式碼實現（參考Bobo實現，如果要看BoBo老師原始碼，請點選此處）： # -*- encoding: utf-8 -*- """ 實現簡單的線性迴歸, 自己
機器學習筆記（3）：線性代數回顧
目錄 1）Matrices and vectors 2）Addition and scalar multiplication 3）Matrix-vector multiplication 4）Matrix-matrix multiplication 5）Matrix multip
Bobo老師機器學習筆記第八課-方差、偏差、嶺迴歸、LASSO迴歸？
對誤差分類 問題一、什麼是偏差和方差？ 先看下面這幅圖圖： 方差： 都是圍著資料中心的，方差越大則表示距離資料中心分佈的越分散，越小說明越近越集中 偏差： 偏離資料中心， 偏差越大，說明整個資料距離中心越遠，偏差越小，說明距離資料中心越近。 這兩者的關係通常是矛盾的，降低偏
Bobo老師機器學習筆記第八課-什麼是交叉驗證？
1、測試資料的真正意義是什麼？ 在上篇部落格中，我們看到測試集和訓練集在同一個模型上會表現不同的結果。我們通過學習曲線可以直觀的看到具體是過擬合還是欠擬合，從而調整引數，進行不斷驗證，直到找到一個在訓練集表現好的資料。 總結一句話，就是通過測試資料進行對模型的調優。 2、 依
Bobo老師機器學習筆記第八課-如何防止過擬合和欠擬合？
問題一、什麼是過擬合和欠擬合？ 首先擬合是一個統計學概念，它表示所求函式逼近目標函式的遠近程度。應用的機器學習中，就是我們所求的函式與未知的對映函式之間的相似度。如何求得函式引數與潛在的函式引數越逼近，說明效果越好。 假設我們用上篇部落格中的資料，原始碼可以見上文： 通