概率分佈

1.離散變數

1.1伯努利分佈

伯努利分佈，進行一次伯努利實驗，如投擲一次硬幣，x=1代表正面，其概率為μ，x=0代表反面，其概率為1−μ。

p(x|μ)=ux(1−u)1−x
期望為E[x]=μ
方差為Var[x]=μ(1−μ)
當觀察到結果序列為D={x1,x2,x3,...,xn}p(D|μ)=∏i=1np(x=xi|u)=∏i=1nμxi(1−μ)1−xi

伯努利實驗：伯努利試驗是在同樣的條件下重複地、相互獨立地進行的一種隨機試驗。其特點是該隨機試驗只有兩種可能結果：發生或者不發生。然後我們假設該項試驗獨立重複地進行了n次，那麼我們就稱這一系列重複獨立的隨機試驗為n

重伯努利試驗。

1.2二項分佈

二項分佈，進行K次重複的相互獨立的伯努利實驗，如相互獨立地擲N次硬幣，設x為正面出現的總數，則x為隨機變數，設正面概率為μ，反面概率為1−μ。

p(x|K,μ)=(Kx)μx(1−μ)K−x其中(Kx)=K!x!(K−x)!
期望為E[x]=Kμ
方差為Var[x]=Kμ(1−μ)

n重伯努利實驗和二項分佈不同的點為，二項分佈研究的是總和，而計算某個具體實驗結果時需要用到伯努利分佈結合乘法原理。

1.3多項式分佈

多項式分佈，也就是將二項分佈推廣到多種結果，也進行K次實驗，如投擲骰子。結果是1有α1次，結果為2有α2次，… ，的概率分佈情況。
當進行一次實驗有m

個結果時，使用向量表示概率和結果。

μ={μ1,μ2,...,μm}T其中μi為第i個結果發生的概率。
x={x1,x2,...,xm}T其中當第i個結果發生則xi=1否則xi=0，這種編碼方式稱作one-hot編碼。

例如投擲一個六面均勻的骰子概率為μ={16,16,16,16,16,16}T，當結果為4時表示為x={0,0,0,1,0,0}T。

p(k1,k2,...,km|

相關推薦

機器學習-概率分佈(PRML 第二章總結)

概率分佈 1.離散變數 1.1伯努利分佈 伯努利分佈，進行一次伯努利實驗，如投擲一次硬幣，x=1代表正面，其概率為μ，x=0代表反面，其概率為1−μ。 p(x|μ)=ux(1−u)1−x 期望為E[x]=μ 方差為Var[x

《機器學習實戰》筆記 第二章（2）

《機器學習實戰》筆記 第二章 （2） 2.2 約會網站配對 程式碼實現 解決方案① 解決方案② 建立散點圖 歸一化資料 作為完整程式驗證分類器 構建完整系統

《機器學習實戰》（第二章）中函式詳細解析

本文是針對《機器學習實戰》內函式的解析。並以頁數呈現。 P19：numpy.tile(A,rep)函式 當rep為數字時，生成一個一維重複rep次的list。 當rep為元組（m,n）時，生成一個m行並且每行重複n次的矩陣。 import numpy as np a1

TensorFlow機器學習實戰指南之第二章

for eat multiply float 學習 占位符 創建 graph 矩陣乘法 一、計算圖中的操作 在這個例子中，我們將結合前面所學的知識，傳入一個列表到計算圖中的操作，並打印返回值： 聲明張量和占位符。這裏，創建一個numpy數組，傳入計算圖操作： im

TensorFlow機器學習實戰指南之第二章2

oid tensor 偏差 traceback gradient 反向 擬合 hex 初始 TensorFlow實現反向傳播 本節先舉個簡單的回歸算法的例子。這裏先舉一個簡單的例子，從均值1，標準差為0.1的正態分布中隨機抽樣100個數，然後乘以變量A，損失函數L2正則函

Java虛擬機 學習 第二章總結

windows 控制 常量池 永久代 導致 程序 兩個 內存模型 直接內存 Java的內存管理機制JVM運行時的數據區域：程序計數器，Java虛擬機棧，本地方法棧，Java堆，方法區，運行時常量池，（直接內存） 按照線程共享分類：線程獨有 　　1.程序計數器，占用非常小的

概率統計與機器學習：常見分布性質總結

常見 測量 大小 為什麽 就是 由於 csdn article nbsp 參考：https://blog.csdn.net/qq_33638791/article/details/74926573 常見分布：高斯分布 來源：中心極限定理 定義：大量獨立的隨機變量之和趨向於正

java虛擬機器(第二版) 第二章總結 （三）-手工復現java虛擬機器記憶體溢位(OutOfMemoryError異常)

  文章概述 的java虛擬機器記憶體溢位的簡要概述，復現堆記憶體，棧記憶體，方法區的執行時常量池記憶體等區域的溢位情況，以及上述區域發生記憶體溢位的判斷方式和解決思路。   1，概述：      IDE為eclipse，需要在執

java虛擬機器(第二版) 第二章總結 （二）

本文總結下java虛擬機器的第二章的第三小節   1、（原文2.3）HotSpot虛擬機器物件探祕   文中以HotSpot虛擬機器為例，講述了java物件的建立以及訪問。   當我們寫的new關鍵字被虛擬機器執行時：  <

java虛擬機器(第二版) 第二章總結 （一）

本文主要是up主閱讀java虛擬機器(第二版) 第二章總結的總結，因為第一章主要講了java體系的過去和展望，故就暫時總結了，感興趣的可以閱讀原書。 另外推薦看原書，原書對我總結的知識有更細緻的解讀。 眾所周知，java虛擬機器對記憶體的自動管理，讓java程式設計師少了好多手動管理記憶

周志華 《機器學習》之 第六章（支援向量機）概念總結

在之前就一直總是零零碎碎瞭解過這個熱及一時的統計學方法對樣本進行分類的支援向量機演算法。一直想系統的瞭解一下支援向量機這個很強的分類演算法，有幸在周老師的機器學習這本書中進行系統的學習。 這裡我只列出一些需要重點理解的概念，以方便以後自己進行回顧，在部落格中也

周志華 《機器學習》之 第七章（貝葉斯分類器）概念總結

貝葉斯分類器是利用概率的知識完成資料的分類任務，在機器學習中使用貝葉斯決策論實施決策的基本方法也是在概率的框架下進行的，它是考慮如何基於這些概率和誤判損失來選擇最優的類別標記。 1、貝葉斯決策論 條件風險：假設有N種可能的類別標記，Y={c1,c2,c3

PRML 第二章 非引數化概率密度估計

1. 概率密度建模的引數化（ parametric）⽅法 前面介紹的概率分佈都有具體的函式形式，並且由少量的引數控制，這些引數的值可以由資料集確定。這被稱為概率密度建模的引數化（ parametric）⽅法。這種⽅法的⼀個重要侷限性是選擇的概率密度函式可能對於

PRML 第二章 多項式分佈

1.多項分佈的一次事件 隨機變數X有三種取值x1，x2，x3，那麼用一個三維向量表示多項式的取值就是{1,0,0}，{0,1,0}，{0,0,1}分別代表選中x1，x2，x3，即必須選中一個，同時只能選一個。如果用μk表示xk=1時的概率，那麼對於隨機變數x的

周志華 《機器學習》之 第九章（聚類）概念總結

記得在讀研期間，去選修資料探勘與資料倉庫這門課，當時老師講的很多的一個知識點，那就是聚類分析，然後老師講了很多什麼關聯分析等等，很多都忘記了，當時也是聽得雲裡霧裡的。看完周老師在機器學習這本書中提到的聚類，大概理解了聚類能做什麼，能解決什麼樣的問題。周老師在資料

萌新向Python數據分析及數據挖掘 第三章 機器學習常用算法 第二節 線性回歸算法 （上）理解篇

機器 算法 數據挖掘 一個 函數 數量 一條直線 就是 線性回歸 理解 以a b為變量，預測值與真值的差的平方和為結果的函數 參數學習的基本方法：找到最優參數使得預測與真實值差距最小 假設可以找到一條直線 y = ax+b 使得預測值與真值的差的平方和最小 故事 假設你面

我的學習之路_第二章_接口/多態

nal interface implement 類型轉換 ace pri 類名 提高 表現 接口 (1)當抽象類中的方法都是抽象的時候，java就提供了一種新的表現形式：接口。接口是功能的集合 接口不能創建對象 (2)格式： 父接口： public interface

常用的機器學習&數據挖掘知識點總結

知識點總結 sca pac -i 期望 最大似然 算法 ucf space Basis(基礎)： MSE(Mean Square Error 均方誤差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，

【機器學習實戰】第13章 利用 PCA 來簡化數據

light nan 文本 com axis 均值 ... cati 二維空間 第13章 利用 PCA 來簡化數據 降維技術 場景 我們正通過電視觀看體育比賽，在電視的顯示器上有一個球。 顯示器大概包含了100萬像素點，而球則可能是由較少的像素點組成，例如說一千個像素

《機器學習實戰》第7章的一處代碼錯誤

traceback com post cond 解決 elm back document image --------------------------------------------------------------------------- IndexError