《統計學習方法》李航著——第一章學習筆記
第一章：熟悉統計學習方法的基本概念
統計學習：基於資料構建概率統計模型並運用模型對資料進行預測和分析，也稱為統計機器學習。
1.統計學習組成：監督學習，半監督學習，非監督學習和強化學習。
2.統計學習三個基本要素：模型（假設空間）、策略（確定選擇模型的規則）、演算法（求解最優模型，達到全域性最優）。
a. 模型
b. 策略：確定模型選擇的規則
當訓練樣本數目有限甚至很小時，則經驗風險不能估計期望風險，所以必須對經驗風險進行一定的矯正，這就關係到監督學習的兩個基本策略，如下圖：
c. 演算法：實現求解最優模型的演算法
3.模型評估：在給定的函式模型ƒ，是基於損失函式的模型的訓練誤差和測試誤差。
4.模型選擇：防止出現“過擬合”和泛化能力差
5.生成模型和判別模型，分類、標註、迴歸問題。
相關推薦
《統計學習方法》李航著 第一章讀書筆記
有一個公眾號叫 “夕小瑤的賣萌屋” ，這位公眾號推薦說 李航的《統計學習方法》是一門基礎課。因此我從網上找了找資源 ，著手去看了。覺得寫得確實很棒。 首先，以前看機器學習理論總是單獨看，分著看，覺得關聯規則就是關聯規則，神經網路就是神經網路。但是這本書能讓我有著一種想法，就是將整個機
《統計學習方法》李航著——第一章學習筆記
第一章：熟悉統計學習方法的基本概念 統計學習：基於資料構建概率統計模型並運用模型對資料進行預測和分析，也稱為統計機器學習。 1.統計學習組成：監督學習，半監督學習，非監督學習和強化學習。 2.統計學習三個基本要素：模型（假設空間）、策略（確定選擇模型的規則）、演算法（求解最
統計學習方法 李航---第5章 決策樹
第5章 決策樹 決策樹(decision tree)是一種基本的分類與迴歸方法。本章主要討論用於分類的決策樹。決策樹模型呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間與類空間上的條件概率分佈。其主要
統計學習方法 李航 第一章習題
1.1說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。伯努利模型是定義在取值為0和1的隨機變數上的概率分佈。假設觀測到的伯努利模型n次獨立資料生成結果，其中k次的結果為1，這時可以用極大似然估計或貝葉斯估計來估計結果為1的概率。
統計學習方法-李航（第8章 提升方法筆記)
這一章主要講boosting提升方法，代表方法是AdaBoost演算法，我會從演算法的本質去解釋演算法，儘量用簡單的語言其描述，具體推導過程參考原文。 提升方法就是從弱學習演算法出發，反覆學習，得到一系列弱分類器(又稱為基本分類器)，然後組合這些弱分類器，構成一個強分類器。 一、 提
統計學習方法 李航 第二章習題
2.1Minsky和Papert指出：感知機因為是線性模型，所以不能表示複雜的函式，如異或。驗證感知機為什麼不能表示異或 明顯可知異或不具有線性可分性，由感知機定義可知，感知機不能表示異或。
統計學習方法 李航 讀書筆記
************************************************************ 李航教授《統計學習方法》 統計學教材總結 主要介紹監督學習方法 ***************************************************
【統計學習方法-李航-筆記總結】十一、條件隨機場
本文是李航老師《統計學習方法》第十一章的筆記，歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767734.html 主要內容： 1. 概率無向圖模型 2. 條件隨機場的定義與形式 3. 條件隨機
【統計學習方法-李航-筆記總結】十、隱馬爾可夫模型
本文是李航老師《統計學習方法》第十章的筆記，歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767667.html https://www.cnblogs.com/naonaoling/p/5701634.html htt
【統計學習方法-李航-筆記總結】九、EM(Expectation Maximization期望極大演算法)演算法及其推廣
本文是李航老師《統計學習方法》第九章的筆記，歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767517.html https://blog.csdn.net/u010626937/article/details/751160
【統計學習方法-李航-筆記總結】八、提升方法
本文是李航老師《統計學習方法》第八章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： https://www.cnblogs.com/YongSun/p/4767513.html 主要內容包括： 1. 提升方法AdaBoost演算法 2. AdaBoost演算法的訓練誤差分析
【統計學習方法-李航-筆記總結】七、支援向量機
本文是李航老師《統計學習方法》第七章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： https://www.cnblogs.com/YongSun/p/4767130.html https://blog.csdn.net/wjlucc/article/details/69376003
【統計學習方法-李航-筆記總結】六、邏輯斯諦迴歸和最大熵模型
本文是李航老師《統計學習方法》第六章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： http://www.cnblogs.com/YongSun/p/4767100.html https://blog.csdn.net/tina_ttl/article/details/53519391
【統計學習方法-李航-筆記總結】五、決策樹
本文是李航老師《統計學習方法》第五章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： https://blog.csdn.net/u014248127/article/details/78971875 https://www.cnblogs.com/YongSun/p/4767085.ht
【統計學習方法-李航-筆記總結】四、樸素貝葉斯法
本文是李航老師《統計學習方法》第四章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： https://blog.csdn.net/zcg1942/article/details/81205770 https://blog.csdn.net/wds2006sdo/article/detail
【統計學習方法-李航-筆記總結】三、k近鄰法
本文是李航老師《統計學習方法》第三章的筆記，歡迎大佬巨佬們交流。 主要參考部落格：https://blog.csdn.net/u013358387/article/details/53327110 主要包括以下幾部分： 1. k近鄰演算法 2. k近鄰模型 3. kd樹 1.
每月學習數理統計--《統計學習方法—李航》(1)
分類 bsp 小白 總結 統計學 乘法 入門 回歸 ova 現在這本書已經看完70%，在看完後我將會將每一章的內容按照自己的理解並結合其他書籍包括<<統計機器學習導論>>[1] ，<<機器學習>>[2]，<&l
《統計學習方法（李航）》整合學習（內容有拓展）學習筆記
作者：jliang https://blog.csdn.net/jliang3 1.自助法（Bootstrap） 1）自助法是一種有放回的抽樣方法。 核心思想是從原樣本集有放回抽取N個子集，訓練N個分類器，進行整合。 2）Bagging和Boosting都是Bo
計算機網路自頂向下方法第一章學習筆記
1、因特網構成 端系統通過通訊鏈路和分組交換機連線。傳送端將資料分段，並加上首部位元組，形成的資訊包稱為分組。 分組交換機從一條鏈路接收分組，並轉發到另一條鏈路。主要分為路由器和鏈路層交換機兩類。交換機一般用於接入網，路由器通常用於網路核心。 端系統、分組交換機和其他因特網部件要執行一系
機器學習與資料科學 基於R的統計學習方法（一)-第1章 機器學習綜述
1.1 機器學習的分類 監督學習：線性迴歸或邏輯迴歸， 非監督學習：是K-均值聚類， 即在資料點集中找出“聚類”。 另一種常用技術叫做主成分分析（PCA） ， 用於降維， 演算法的評估方法也不盡相同。 最常用的方法是將均方根誤差（RMSE） 的值降到最小， 這一數值用於評價測試集的預測結果是否準確。 R