統計學習方法筆記9—EM演算法2
9.2 EM演算法的收斂性
收斂定理9.1
觀測資料的似然函式單調遞增
收斂定理9.2
EM演算法是收斂性包含對數似然函式序列的收斂性和關於引數估計序列的收斂性，即一定可以通過迭代發現似然函式的極值點。
9.3 EM演算法在高斯混合模型學習中的應用
9.3.1 高斯混合模型（概率分步模型）
9.3.2高斯混合模型引數估計的EM演算法
1.明確隱變數，寫出對數似然函式：
隱變數：反應觀測資料的高斯分佈分模型
完全資料：觀測資料和隱變數資料
完全資料的似然函式：
對數似然函式：
2.EM演算法的E步：確定Q函式
求對數似然函式的均值：
計算過程略，結果：
3.確定EM演算法的M步
利用迭代求取Q函式的極大值
相關推薦
統計學習方法筆記9—EM演算法2
9.2 EM演算法的收斂性 收斂定理9.1 觀測資料的似然函式單調遞增 收斂定理9.2 EM演算法是收斂性包含對數似然函式序列的收斂性和關於引數估計序列的收斂性，即一定可以通過迭代發現似然函式的極值點。 9.3 EM演算法在高斯混合模型學習中的應用 9.3.1 高
CS229與《統計學習方法》的EM演算法理解和比較，收斂性證明
關於吳恩達老師的cs229講義和視訊與《統計學習方法》這本書上的EM演算法，作為初學者，強烈建議只看前者，恐怕是我比較菜只看後者的話會有很多地方不明白，比如為什麼似然函式不是 ∏
統計學習方法筆記（三）K近鄰演算法
K近鄰法（KNN）是一種基本的分類和迴歸的方法，KNN的基本思想是給出一定數量帶有標籤的訓練樣本，使用這些訓練樣本將特徵空間劃分成許多的子空間，當一個新的測試樣本進來以後，這個測試樣本一定會落在一個超矩形區域內部，然後找到距離這個測試樣本最近的K個訓練樣本，用這些訓練樣本的
【ML】統計學習方法筆記
S1 統計學習的基本假設是同類資料具有一定的統計規律性 特徵空間(featrure space)的每一維對應於一個特徵。有時假設輸入空間與特徵空間為相同空間，對他們不予區分。有時假設輸入空間與特徵空間為不同的空間，將例項從輸入空間對映到特徵空間。模型實際上都是定義在特徵空間上的。
李航—統計學習方法筆記（一）
什麼是獨立同分布？ 百度： 在概率統計理論中，指隨機過程中，任何時刻的取值都為隨機變數，如果這些隨機變數服從同一分佈，並且互相獨立，那麼這些隨機變數是獨立同分布。如果隨機變數X1和X2獨立，是指X1的取值不影響X2的取值，X2的取值也不影響X1的取值且隨機變數X1和X2服從同一分佈，這意味著X1和X2具有
統計學習方法筆記1
第一章統計學習方法概論 1.1統計學習 統計學習特點：計算機網路平臺，資料驅動，構建模型，預測分析 統計學習物件：data，具有一定統計規律的資料 統計學習目的：預測分析 統計學習方法：模型，策略，演算法； 統計學習方法的步驟：
統計學習方法筆記7.1
第七章 支援向量機 支援向量機（support vector machines,SVM)是一種二類分類模型，基本模型是定義在特徵空間上的間隔最大的線性分類器。 7.1 線性可分支援向量機與硬間隔最大化 7.1.1 線性可分支援向量機 支援向量機的學習都是在特徵空
統計學習方法筆記（一）：K近鄰法的實現：kd樹
實現k近鄰演算法時，首要考慮的問題是如何對訓練資料進行快速的k近鄰搜尋。這點在特徵空間的維數大於訓練資料容量時尤為重要。 構造kd樹 kd 樹是一種對k為空間中的例項點進行儲存的一邊對其進行快速檢索的樹形資料結構。kd樹是二叉樹，表示對k維空間的一個劃分（parti
李航·統計學習方法筆記·第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型
第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型 標籤（空格分隔）： 機器學習教程·李航統計學習方法 邏輯斯蒂：logistic 李航書中稱之為：邏輯斯蒂迴歸模型 周志華書中稱之為：對數機率迴歸模
機器學習實戰筆記-K近鄰演算法2(改進約會網站的配對效果)
案例二.：使用K-近鄰演算法改進約會網站的配對效果 案例分析: 海倫收集的資料集有三類特徵，分別是每年獲得的飛行常客里程數、玩視訊遊戲所耗時間百分比、 每週消費的冰淇淋公升數。我們需要將新資
《統計學習方法筆記》——Logistic迴歸
Logistic迴歸簡介 假設有一些資料點，我們利用一條直線對這些資料點進行擬合（該線稱為最佳擬合直線），這個擬合過程就稱為迴歸。利用Logistic進行迴歸的主要思想：根據現有資料對分類邊界線建立迴歸公式，以此進行分類。 演算法流程 1.優化目標函式
統計學習方法筆記二---感知機(Perceptron Learning Algorithm,PLA)
簡介 感知機（perceptron）是二分類的線性分類模型，其輸入為例項的特徵向量，輸出為例項的類別，取+1和-1二值。感知機對應於輸入空間（特徵空間）中將例項劃分為正負兩類的分離超平面，屬於判別模型，解決的問題是分類問題。 目標/目的：求出將訓練資料進行線
《李航：統計學習方法》--- K近鄰演算法(KNN)原理與簡單實現
k近鄰演算法簡單，直觀：給定一個訓練資料集，對新的輸入例項，在訓練集中找到與該例項最鄰近的k個例項，這k個例項的多數屬於某個類，就把該輸入例項分為這個類。 如上圖所示，藍色正方形表示一個類別，紅色三角形表示另一個類別，綠色圓圈表示待分類的樣本。按照KNN演
統計學習方法筆記（三）統計學習方法簡介
正則化與交叉驗證 前文所述的模型選擇只能大體選擇出一類較好的模型，即利用訓練資料集學習模型，沒有考慮到測試誤差，而正則化與交叉驗證的提出，則加入了測試誤差的考量，因此，這兩種方法用來選擇具體模型。 正則化 正則化是結構風險最小化策略的實現，其是在經驗風
《李航：統計學習方法》--- 感知機演算法原理與實現
感知機模型 感知機是一個二類分類的線性分類模型。所謂二類分類就是它只能將例項分為正類和負類兩個類別。那麼為什麼是線性分類模型呢，我的理解是感知機學習旨在求出可以將資料進行劃分的分離超平面，而分離超平面的方程 w⋅x+b=0 為線性方程，所以感知機為線性分類模型
統計學習方法筆記（一）統計學習方法簡介
統計學習概論： 一、統計學習 執行統計學習相關方法的前提：假設同類資料具有一定的統計規律性 定義：計算機基於資料構建相應的概率統計模型，利用模型對資料進行預測與分析 方法分類：監督學習、非監督
李航-統計學習方法筆記（一）：統計學習方法概論
對象 統計學 技術分享 精確 結束 人的 發生 abs 速度 本系列筆記，主要是整理統計學習方法的知識點和代碼實現各個方法，來加強筆者對各個模型的理解，為今年找到好工作來打下基礎。 計劃在一個月內更新完這本書的筆記，在此立一個flag: 從2019/2/17開始 到 20
【統計學習方法-李航-筆記總結】九、EM(Expectation Maximization期望極大演算法)演算法及其推廣
本文是李航老師《統計學習方法》第九章的筆記，歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767517.html https://blog.csdn.net/u010626937/article/details/751160
《統計學習方法》筆記七（2） 支援向量機——線性支援向量機
本系列筆記內容參考來源為李航《統計學習方法》 線性不可分的通常情況是訓練資料中有一些特異點，將這些點去除後，剩下的大部分樣本點組成的結合是線性可分的。即某些樣本點不能滿足函式間隔≥1的約束條件，據此，對每個樣本點引入鬆弛變數，使函式間隔加上鬆弛變數≥1。 對偶演算法 支援向量 合頁損失
《統計學習方法》第9章 EM/GMM/F-MM/GEM
前言 EM（期望最大）演算法有很多的應用，最廣泛的就是混合高斯模型、聚類、HMM等等，本質上就是一種優化演算法，不斷迭代，獲得優值，與梯度下降、牛頓法、共軛梯度法都起到同一類的作用。 本文是對李航《統計學習方法》的第9章複習總結，主要內容如下 EM（期望最大