3、統計學習的三要素

統計學習方法 = 模型 + 策略 + 演算法

3.1、模型

模型就是所要學習的條件概率分佈或決策函式(具體演算法通常是兩者之一)。
模型的假設空間Γ$\mathrm{\Gamma }$：包含所有可能的條件概率分佈或決策函式，假設決策函式是輸入變數的線性組合，那麼模型的假設空間就是所有這些線性函式構成的函式集合，假設空間中的模型一般有無數多個。

假設空間Γ$\mathrm{\Gamma }$定義為決策函式的集合：

Γ={f|Y=f(X))}$$\mathrm{\Gamma }=\{f|Y=f(X))\}$$
其中X和Y是定義在輸入空間和輸出空間上的變數，而Γ$\mathrm{\Gamma }$通常是由一個引數向量決定的函式族：
Γ={f|Y=fθ(X),θϵℝn}$$\mathrm{\Gamma }=\{f|Y=f_{\theta }(X),$$

θϵRn}
引數向量θ$\theta$取值於n維歐氏空間ℝn${\mathbb{R}}^n$,簡稱引數空間。

假設空間Γ$\mathrm{\Gamma }$定義為條件概率的集合：

Γ={P|P(Y|X)}$$\mathrm{\Gamma }=\{P|P(Y|X)\}$$
其中X和Y是定義在輸入空間和輸出空間上的變數，而Γ$\mathrm{\Gamma }$通常是由一個引數向量決定的條件概率分佈族：
Γ={P|Pθ(Y|X),θϵℝn}$$\mathrm{\Gamma }=\{P|P_{\theta }(Y|X),\theta ϵ{\mathbb{R}}^n\}$$
引數向量θ$\theta$取值於n維歐氏空間ℝn${\mathbb{R}}^n$,簡稱引數空間。

3.2、策略

有了假設空間，統計學習需要考慮按照什麼樣的準則學習或按照什麼樣的準則選擇最優的模型。

損失函式：度量模型一次預測的好壞。

從假設空間Γ$\mathrm{\Gamma }$中選擇模型f$f$作為決策函式，叢輸入到對應的輸出可能於原來的不一致，用損失函式度量預測錯誤的程度。
1、0-1損失函式

L(Y,f(X))={1,0,Y≠f(X)Y=f(X)$$L(Y,f(X))=\{\begin{array}{cc}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$$
2、平方損失函式
L(Y,f(X))=(Y−f(X))2$$L(Y,f(X))={\left(Y-f(X)\right)}^2$$
3、絕對損失函式
L(Y,f(X))=∣∣Y−f(X)∣∣$$L(Y,f(X))=\left|Y-f(X)\right|$$
4、對數損失函式/對數似然損失函式
L(Y,P(Y|X))=−logP(Y|X)$$L(Y,P(Y|X))=-logP(Y|X)$$

風險函式/期望損失/期望風險：平均意義下模型預測的好壞。

損失函式越小，模型越好，由於模型的輸入和輸出是隨機變數，遵循聯合分佈P(X,Y)$P(X,Y)$,損失函式的期望是：

Rexp(f)=Ep[L(Y,f(X))]=∫x∗yL(y,f(x))P(x,y)dxdy$$R_{exp}(f)=E_p\left[L(Y,f(X))\right]={\int }_{x\ast y}L(y,f(x))P(x,y)dxdy$$

經驗風險：關於訓練資料集的平均損失

由於聯合分佈P(X,Y)$P(X,Y)$未知，期望風險沒辦法直接計算，對於基於有限訓練資料集：

T={(x

相關推薦

《統計學習方法》第一章：統計學習方法概論4

4、模型評估與模型選擇 4.1、訓練誤差和測試誤差 測試誤差小的方法具有更好的預測能力，是更有效的方法。 訓練誤差： Remp(f′)=1N∑i=1NL(yi,f′(xi))Remp(f′)=1N∑i=1NL(yi,f′(xi)) 測試誤差： ete

《統計學習方法》第一章：統計學習方法概論3

3、統計學習的三要素 統計學習方法 = 模型 + 策略 + 演算法 3.1、模型 模型就是所要學習的條件概率分佈或決策函式(具體演算法通常是兩者之一)。 模型的假設空間ΓΓ：包含所有可能的條件概率分佈或決策函式，假設決策函式是輸入變數的線性組合，那麼

Python爬蟲學習==>第一章：Python3+Pip環境配置

sof 環境 pts window https 有時 naconda 步驟 管家 前置操作 軟件名：anaconda 版本：Anaconda3-5.0.1-Windows-x86_64清華鏡像 下載鏈接：https://mirrors.tuna.tsinghua.ed

【Weex學習】第一章：環境搭建

下載鏈接 spa 鏈接 java androi tps http nload 第一章 1、安裝Node.js //查看版本node -vnpm -v 2、安裝Java 下載鏈接：https://www.java.com/zh_CN/ 3、安裝Git 下載鏈接：https

Node.js學習（第一章：Node.js簡介）

過程 朋友 npm 文件讀寫 擴展 業務 ebp 更新 框架 Node.js是什麽？ Node.js 誕生於 2009 年，由 Joyent 的員工 Ryan Dahl 開發而成, 目前官網最新版本已經更新到 12.0.0版本，最新穩定的是10.15.3。Node.js

全國計算機等級考試二級教程--python語言程式設計（2018年版）第一章：程式設計基本方法

宣告：本篇文章只是個人知識盲區、知識弱點、重點部分的歸納總結，望各位大佬不喜勿噴。梳理順序是按照書籍的實際順序梳理，轉載請註明出處。 作者：sumjess   一、python簡介： 1、python的誕生      創始人：Guido

統計學習方法---第一章統計學習方法概論

統計學習的三要素： （1）模型：所要學習的條件概率分佈或決策函式。 （2）策略：按照什麼樣的準則學習或選擇最優的模型。 （3）演算法：學習模型的具體計算方法。          方法 = 模型 + 策略 + 演算法

Java學習（4）：統計一個文件中的英文，中文，數字，其他字符以及字符總數

port let args str reader 文件路徑 要求 cnblogs pub 要求：統計一個文件中的英文，中文，數字，其他字符以及字符總數（此隨筆以txt文件為例） import java.io.BufferedReader; import java.io.F

Python學習第一章：第一次的親密接觸之初識程序（二）

inpu alt blog put 分享 裏的 hello 格式 img 上次我們講到print（Hello Word）及變量的使用，下面我們繼續： 比如我們想在程序中實現格式化輸出如： 那麽我們我們就要進行簡單的格式化定義，一個很簡單的input語法實現，案例如下：

Selenium學習第一章：搭建測試環境

搭建測試環境 1-1 配置環境變量 https 技術分享 log href targe .com 一：下載python，官網地址：https://www.python.org/，傻瓜式安裝（最好不要裝在C盤） 二：配置環境變量 右擊“計算機”—“屬性”—“環境變量”，在

RabbitMQ學習筆記（第一章：Rabbit簡介）

處理機制 有用 都在 參數 ket 統一 宋體 interface 自己 RabbitMQ是目前非常熱門的一款消息中間件，不管是互聯網行業還是傳統行業都在大量地使用。RabbitMQ憑借其高可靠、易擴展、高可用及豐富的功能特性受到了越來越多的企業的青睞。 （一）什麽是消息中

Introduction to 3D Game Programming with DirectX 12 學習筆記之 --- 第一章：向量代數

學習目標: 學習如何使用幾何學和數字描述 Vector； 學習 Vector 的運算方法及其在幾何學上的應用； 熟悉在 DirectXMath library 中的 Vector 相關的類和函式。 1 向量 一個向量代表的是一個擁有大小和方向

計算機網路自頂向下方法第一章學習筆記

1、因特網構成 端系統通過通訊鏈路和分組交換機連線。傳送端將資料分段，並加上首部位元組，形成的資訊包稱為分組。 分組交換機從一條鏈路接收分組，並轉發到另一條鏈路。主要分為路由器和鏈路層交換機兩類。交換機一般用於接入網，路由器通常用於網路核心。 端系統、分組交換機和其他因特網部件要執行一系

Python資料分析基礎教程：NumPy學習指南 第一章 NumPy基礎

目錄 第一章    NumPy基礎 1.1    NumPy陣列物件 關鍵字：array、arange、ndarray、type、dtype、shape、下標 1.2    NumPy資料型別

機器學習筆記 -吳恩達（第一章：緒論）

0.機器學習定義   一個程式由經驗E中學習，解決任務T，達到效能度量值P，當且僅當，有了經驗值E後，經過P的評判，程式在處理T的時候經驗有所提升。 1.機器學習運用領域：         資料探勘

《好好學習》閱讀筆記（二）第一章：什麼是臨界知識

第一章 ［－－－－什麼是［臨界知識］］ 目錄 自序 學習的三個目標： 1.解釋問題［－－－－看清問題本質］ 2.解決問題［－－－－根據問題關鍵提出解決方案，最好有備用方案］ 3.預測問題［－－－－找到基本規律，預測未來走向］

機器學習（一）：統計學習問題概述

學習：“如果一個系統能夠通過執行某個過程改進它的效能，這就是學習。”按照這一觀點，統計學習就是計算機系統通過運用資料及統計方法提供系統性能的機器學習。 機器學習的物件是資料，它從資料出發，提取資料特徵，抽象出資料模型，發現數據中的知識，又回到對資料的分析和預測

吳恩達《機器學習》課程筆記——第一章：緒論 初識機器學習

【重要提示】：本人機器學習課程的主要學習資料包括：吳恩達教授的機器學習課程和黃廣海博士的中文學習筆記。感謝吳恩達教授和黃廣海博士的知識分享和無私奉獻。作為機器學習小白，計劃每週末記錄一週以來的學習內容，總結回顧。希望大家多多挑錯，也願我的學習筆記能幫助到有需要的人。 1.1 什麼是機器學習 卡內基梅隆大學

斯坦福第五章：判別學習方法和生成學習方法的區別

之前的視訊中講到的方法都是直接對問題進行求解，比如二類分類問題，不管是感知器演算法還是邏輯斯蒂迴歸演算法，都是在解空間中尋找一條直線從而把兩種類別的樣例分開，對於新的樣例只要判斷在直線的哪一側即可；這

機器學習入門之四：機器學習的方法-神經網絡（轉載）

轉載 bsp 圖像 src nbsp 加速 數值 str 我們 　　轉自 飛鳥各投林 　　神經網絡 　　 　　神經網絡(也稱之為人工神經網絡，ANN)算法是80年代機器學習界非常流行的算法，不過在90年代中途衰落。現在，攜著“深度學習”之勢，神