序言：近期主要幫同事講解《圖解機器學習》，剛拿到這本書覺得內容相比較平常使用的機器學習演算法，很多地方講解得比較奇怪，在認真的讀完後，覺得還是有很多重要的東西，因此讀了書就想把知識點整理出來，加上一些自己對各種演算法的認識，因此這個系列裡面有一些個人的理解，若有不對的地方，還請不吝指出，謝謝。

一、機器學習的概念

對於機器學習概念的理解，機器學習主要是從大量的資料中找到資料中潛在的模式或者規律，並利用這樣的模式或者規律作用於一些未知的資料。根據資料形式的不同，可以將機器學習分為：

• 監督學習。
• 無監督學習。
• 強化學習。

1.1、監督學習

對於監督學習的資料形式為(x(i),

y(i)),i=1⋯n，需要學習的是從特徵x(i)到標籤y(i)的對映：f(x(i))。

典型的任務包括：預測數值型資料的迴歸、預測分類標籤的分類、預測順序的排序等。

1.2、無監督學習

對於無監督學習的資料形式為(x(i)),i=1⋯n，需要學習的是特徵與特徵之間的一種關係。

典型的任務包括：聚類、異常檢測等。

1.3、強化學習

強化學習的資料形式與監督學習一致，但是在學習的過程中，不要通過標籤評價學習的效果，而是通過自己對預測的結果進行評估。強化學習在機器人的自動控制、計算機遊戲中的人工智慧等方面有著廣泛的應用。

二、機器學習中的典型任務

在機器學習中，典型的任務包括

• 迴歸
• 分類
• 異常檢測
• 聚類
• 降維

2.1、迴歸

迴歸，指的是把實函式在樣本點附近加以近似的有監督的函式近似問題。簡單來講，對於訓練資料集(x(i),y(i)),i=1⋯n，其中，y(i)為實數，通過學習得到一個函式：

y^=f(x)

常用的迴歸演算法有：線性迴歸，Lasso，嶺迴歸，迴歸樹等。

2.2、分類

分類，指的是對於指定的模式進行識別的有監督的模式識別問題。簡單來講，對於訓練資料集(x(i),y(i)),i=1⋯n，其中，y(i)為類別型資料，如{−1,1}，通過學習得到一個函式：

y^=f(x)

常用的分類算有有：SVM，Logistic迴歸，BP神經網路，樸素貝葉斯等。

2.3、異常檢測

異常檢測，指的是尋找樣本集(x(i)),i=1⋯n中所包含的異常資料的問題。

通常對於這類的無監督問題，採用密度估計的方法，把靠近密度中心的資料作為正常的資料，把偏離密度中心的資料作為異常的資料。

2.4、聚類

聚類也是一類無監督學習問題，是將樣本劃分到不同的類別中。

常用的聚類演算法有：K-Means，譜聚類等。

2.5、降維

降維，是指從高維資料中提取出關鍵的資訊，將其轉換為易於計算的低維問題，進而對其進行求解。降維可以分為無監督的降維和有監督的降維。

常用的降維演算法有：PCA，SVD等。

三、機器學習的方法

在機器學習中，對於分類問題，通常可以分為兩種不同的學習的方法，即：

• 判別式分類
• 生成式分類

3.1、判別式分類

判別式分類是指利用訓練資料集(x(i),y(i)),i=1⋯n，求得分類類別y的條件概率p(y∣x)到達最大的類別：

y^=argmaxyp(y∣x)

這種直接利用後驗概率p(y∣x)進行學習的過程，稱為判別式分類。

3.2、生成式分類

由貝葉斯定理可知：

p(y∣x)=p(x,y)p(x)∝p(x,y)

通過預測資料生成概率p(x,y)進行模式識別的分類方法稱為生成式分類。

四、機器學習中的各種模型

1、線性模型

線性模型是一種較為簡單的模型，其基本模型如下：

fw(x)=∑j=1nwjxj

在實際的使用中，通常很少直接使用這樣的線性模型，通常將其進行推廣，推廣為基於引數的線性模型：

fw(x)=∑j=1nwjϕj(x)=wTΦ(x)

其中ϕj(x)是基函式向量Φ(x)=(ϕ1(x),ϕ2(x),⋯,ϕn(x))T的第j個因子。

2、核模型

核模型是針對基函式向量的設計，通常使用二元函式K(⋅,⋅)表示核函式，使用較多的是高斯核函式：

相關推薦

圖解機器學習總結——1、基本概念

序言：近期主要幫同事講解《圖解機器學習》，剛拿到這本書覺得內容相比較平常使用的機器學習演算法，很多地方講解得比較奇怪，在認真的讀完後，覺得還是有很多重要的東西，因此讀了書就想把知識點整理出來，加上一些自己對各種演算法的認識，因此這個系列裡面有一些個人的理解，若有

Ubuntu作業系統學習筆記1（基本概念、常用指令）

一、Ubuntu 1、什麼是Ubuntu Ubuntu是一個以桌面應用為主的Linux作業系統。 2、Ubuntu特點 （1）操作簡單，方便使用，安裝人性化。 （2）系統安全方面：Ubuntu預設以普通使用者許可權登入，執行所有與系統相關的任務均需要sudo指令 （3）軟體更

GAN學習總結一 GAN基本概念理解

GAN學習總結一GAN基本概念理解 ​ GAN（Generative Adversarial Network）生成式對抗網路，由Ian Goodfellow 首先提出，是近兩年來最熱門的東西，彷彿什麼都可以利用GAN來產生，最近在進行影象超解像相關工作，也看到了利用GAN進行超解析相關工

Android開發學習（1）基本概念

移動裝置的火爆，不用過多筆墨，我們已經處於移動辦公的時代，未來pc生存的空間，可能越來越小，對於移動應用開發的學習，顯得越來越迫在眉睫，憑藉著這幾年的積累，經驗，預計應該容易理解和入門些。 入門一個語言，時刻不忘恩師的教誨，任何事情，在做之前，要想到，這不是一

機器學習之—1、線性代數

線性代數是機器學習的基礎，早在半年前我們就開展了線性代數的學習，當然對於機器學習而言，線性代數並非達到精通的程度才可以，更多的是對概念的理解和認知。因此學習起來很輕鬆。今天又做了一下簡單的總結，把第一遍的思維導圖畫在這裡，後續還會繼續優化和完善，隨著學習機器學習的深入，對線性

機器學習（1、2）預備知識

摘要：機器學習一直是電腦科學中非常熱門的領域。本文對過去幾十年中被普遍認可的機器學習演算法進行了概括，包括線性模型、決策樹、支援向量機、貝葉斯分類器、聚類、整合學習、神經網路、強化學習等（由於是我個人的理解，所以可能有些是錯的）。演算法和公式是機器學習的核心，但是本文企圖使

weui學習總結——1、weui表單常用標籤

前言：weui是一個專門用於開發手機移動web或微信的樣式庫。但是官方只提供了demo沒有提供相關文件，所以這篇部落格就當是方便以後開發而使用吧。 weui資源下載（也可以從官網下載）： http:

機器學習的9個基礎概念和10種基本算法總結

分割 比例 ssi 進一步 erro 所有 方程 相互 區間 https://blog.csdn.net/libaqiangdeliba/article/details/41901387 1.基礎概念： 　　(1) 10折交叉驗證：英文名是10-fold cross-v

【機器學習】資訊、資訊熵、資訊增益、增益率及基尼係數的概念總結

資訊、資訊熵、資訊增益、增益率及基尼係數的概念總結 資訊 資訊是用來消除隨機不確定性的東西。對於機器學習中的決策樹而言，如果待分類的事物集合可以劃分為多個類別當中，則第k類的資訊可以定義如下： 資訊熵 資訊熵是用來度量不確定性，當熵越大，k的不確定性越大，反之越小

機器學習筆記1-基本概念

機器學習筆記1-基本概念 機器學習主要包括監督學習、非監督學習、半監督學習和強化學習等。實現方法包括模型、策略、演算法三個要素。 模型。在監督學習中，模型就是所要學習的條件概率分佈或決策函式。 策略。策略考慮的是按照什麼樣的準則學習或選擇最優的模型，即選擇損失函式。為了

《機器學習實戰》第五章：Logistic迴歸（1）基本概念和簡單例項

最近感覺時間越來越寶貴，越來越不夠用。不過還是抽空看了點書，然後整理到部落格來。 加快點節奏，廢話少說。 Keep calm & carry on. ----------------------------------------------------------

《機器學習實戰》第三章：決策樹（1）基本概念

有半個月沒來了。 最近一段時間...大多在忙專案組的事（其實就是改一改現有程式碼的bug，不過也挺費勁的，畢竟程式碼不是自己寫的）。另外就是自己租了幾臺美帝的vps，搭了$-$的伺服器 ，效果還不錯。自己搭的話就不用去買別人的服務了，不過租vps畢竟還是要成本的，光用來番茄

Angular2學習筆記.1、環境部署，基本概念，HelloAngular2

前言 作為本系列筆記的第一篇文章，在開頭要說一些閒言碎語。 首先我是一個Angular2的初學者，這個系列文章不是教程或其他一切厲害的東西，僅僅是作為我學習過程的一個記錄，我在編輯和排版後將它作為資料儲存並分享給其他人。也希望大家和我共同以學習的態度探討技術

機器學習總結（七）：基本神經網路、BP演算法、常用啟用函式對比

1.   神經網路 （1）為什麼要用神經網路？ 對於非線性分類問題，如果用多元線性迴歸進行分類，需要構造許多高次項，導致特徵特多學習引數過多，從而複雜度太高。 （2）常用的啟用函式及其優缺點 階

機器學習框架ML.NET學習筆記【1】基本概念

一、序言        微軟的機器學習框架於2018年5月出了0.1版本，2019年5月釋出1.0版本。期間各版本之間差異（包括名稱空間、方法等）還是比較大的，隨著1.0版釋出，應該是趨於穩定了。之前在園子裡也看到不少相關介紹的文章，對我的學習提供了不少幫助。由於目前

TCP/IP學習筆記（1）-----基本概念

使用 本機ip 分類 公司 idt intern xtend pen 不用 TCP/IP的起源 　　在全球各地，各種各樣的電腦運行著各自不同的操作系統一起為大家服務，這些電腦在表達同一種信息的時候所使用的方法是千差萬別。就好像聖經中上帝打亂了各地人的口音，讓他們無法合作

tcp/ip學習筆記（1）-基本概念

  為什麼會有tcp/ip 在世界上各地，各種各樣的電腦執行著各自不同的作業系統為大家服務，這些電腦在表達同一種資訊的時候所使用的方法是千差萬別。就好像聖經中上帝打亂了各地人的口音，讓他們無法合作一樣。計算機使用者意識到，計算機只是單兵作戰並不會發揮太大的作用。只有把它們聯合起來，電腦才會發

JS - Promise使用詳解1（基本概念、使用優點）

一、promises相關概念 promises 的概念是由 CommonJS 小組的成員在 Promises/A 規範中提出來的。   1，then()方法介紹 根據 Promise/A 規範，promi

《機器學習實戰》學習總結1——K-近鄰演算法

新手入門學習機器學習，根據ApacheCN的視訊學習程式碼，視訊可以在bilibili線上播放。 有需要資料的可以在GitHub下載：https://github.com/RedstoneWill/MachineLearning 本文最主要的是分析程式碼的功能與實現，相應的原理大家拿看就好了

vue學習筆記1——vue相關概念：為什麼要用框架？框架與庫的區別、MVC與MVVM的概念

Vue是最火的一個框架，React是最流行的一個框架（React可以開發網站和手機app；Vue也是可以進行PC和APP端開發）   Vue、Angular、React並稱為前端三大框架，Vue只關注檢視層，並且便於和第三方庫進行整合。   1，為什麼要用框架？