2. 程式人生 > >機器學習：Multinoulli分佈與多項式分佈

機器學習：Multinoulli分佈與多項式分佈

阿新 • • 發佈：2018-11-09

學習深度學習時遇見multinoulli分佈，在此總結一下機器學習中常用的multinoulli分佈與多項式分佈之間的區別於關係，以便更好的理解其在機器學習和深度學習中的使用。

首先介紹一下其他相關知識。

Bernoulli分佈 （兩點分佈）

Bernoulli分佈是單個二值隨機變數的分佈x\in \left \{ 0,1 \right \}。它由單個引數\mu \in \left [ 0,1 \right ]控制，\phi給出了隨機變數等於1的概率。

                   P(X=1)=\mu

                   P(X=0)=1-\mu

                   P(X=x|\mu )=\mu ^{x}(1-\mu )^{1-x}

                   E[X]=\mu

                   Var[X]=\mu(1-\mu)

二項分佈（n重Bernoulli分佈）

二項分佈（binomial distribution）用以描述N次獨立的伯努利實驗中有m次成功（即x=1）的概率，其中每次伯努利實驗成功的概率為\mu \in \left [ 0,1 \right ]

。

                  P(m|N,u)=\binom{N}{m}\mu ^{m}(1-\mu )^{N-m}

                  E[X]=N\mu

                   Var[X]=N\mu(1-\mu)

多項分佈

若將伯努利分佈由單變數擴充套件為d維向量x，其中x_{i} = \left \{ 0,1 \right \}且\sum_{i=1}^{d}x_{i}=1,並假設x_{i}取1的概率為\mu_{i} \in \left [ 0,1 \right ],\sum_{i=1}^{d}\mu_{i}=1，則將得到離散概率分佈

                P(x|\mu )=\prod_{i=1}^{d}\mu_{i}^{x^{i}}

                E[X_{i}]=\mu_{i}

                Var[X_{i}]=\mu_{i}(1-\mu)_{i}

在此基礎上擴充套件二項分佈則得到多項分佈（nultinomial distribution），它描述了在N次獨立實驗中有m_{i}次x_{i}=1的概率。 

               P(m_{1},...,m_{d}|N,\mu )=\frac{N!}{m_{1}!...m_{d}!}\prod_{i=1}^{d}\mu_{i}^{m_{i}} 

multinoulli分佈（範疇分佈、分類分佈(categotical distribution)）

mutinoulli分佈是指在具有k個不同狀態的單個離散型隨機變數上的分佈，其中k是一個有限值。 mutinoulli分佈由分佈向量p\in \left [ 0,1 \right ]^{k-1}引數化，其中每一個分量p_{i}表示第i個狀態的概率。最後的第k個狀態的概率可以通過1-1^{T}p給出。注意我們必須限制1^{T}p\leq 1。mutinoulli分佈經常用來表示物件分類的分佈，所以我們很少假設狀態1具有數值1之類的。因此我們通常不需要去計算mutinoulli分佈的隨機變數的期望和方差。

mutinoulli分佈是多項式分佈的一個特例。多項式分佈是\left \{ 0,...,n \right \}^{k}中的向量的分佈，用於表示當對mutinoulli分佈取樣n次時k個類中的每一個被訪問的次數。很多文章使用“多項式分佈”而實際上說的是mutinoulli分佈，但是他們並沒有說是對n=1（一次實驗）的情況，這點需要注意。大概意思就是說multinouli分佈進行一次實驗，得到了各個狀態k的概率分佈p，多項分佈是重複對multinoulli分佈進行n次取樣實驗，看k個類中每一個被取樣到的次數。我覺得很像bernoulli分佈與二項分佈的關係。（大家有不同想法的可以留言討論！）

參考文獻：

《概率論與數理統計》韓旭裡，謝永欽

《機器學習》周志華

《深度學習》Ian GoodFellow

相關推薦

機器學習：Multinoulli分佈與多項式分佈

學習深度學習時遇見multinoulli分佈，在此總結一下機器學習中常用的multinoulli分佈與多項式分佈之間的區別於關係，以便更好的理解其在機器學習和深度學習中的使用。 首先介紹一下其他相關知識。 Bernoulli分佈 （兩點分佈） Bernoulli分佈是單個二值隨機變數

機器學習：線性迴歸與Python程式碼實現

前言：本篇博文主要介紹線性迴歸模型（linear regression），首先介紹相關的基礎概念和原理，然後通過Python程式碼實現線性迴歸模型。特別強調，其中大多理論知識來源於《統計學習方法_李航》和斯坦福課程翻譯筆記以及Coursera機器學習課程。 1.線性迴歸

機器學習：訓練集與測試集的劃分

機器學習中有一個問題是不可避免的，那就是劃分測試集和訓練集。為什麼要這麼做呢，當然是提高模型的泛化能力，防止出現過擬合，並且可以尋找最優調節引數。訓練集用於訓練模型，測試集則是對訓練好的模型進行評估的資料集。通常來說，訓練集和測試集是不會有交集的，常用的資料集劃分方法有以下兩種：

機器學習：邏輯迴歸與Python程式碼實現

前言：本篇博文主要介紹邏輯迴歸（logistic regression），首先介紹相關的基礎概念和原理，然後通過Python程式碼實現邏輯迴歸的二分類問題。特別強調，其中大多理論知識來源於《統計學習方法_李航》和斯坦福課程翻譯筆記以及Coursera機器學習課程。 本篇博

吳恩達機器學習：方差與偏差

在前幾周的課程裡，我們已經學習了 監督學習 中的 線性迴歸、邏輯迴歸、神經網路（ 點選進入筆記 ）。回顧課程作業，所有的樣本資料都被用來訓練模型。驗證模型時，也只是將模型的資料結果與正確結果作對比來看正確率。 這樣的訓練方法是否正確？正確率是否能作為評價模型的標

吳恩達機器學習：異常檢測與協同過濾

這是吳恩達機器學習的最後一課，這次學習的內容是機器學習的常見應用，異常檢測與協同過濾。課程中介紹的異常檢測主要基於 正態分佈，用於檢測出偏離正常值的資料。而協同過濾是 推薦系統 的一部分，利用已有使用者的評分來給你推薦商品、視訊等。 點選 課程視訊 你就能不間

機器學習：Scikit-learn與特徵工程

“資料決定了機器學習的上限，而演算法只是儘可能逼近這個上限”，這句話很好的闡述了資料在機器學習中的重要性。大部分直接拿過來的資料都是特徵不明顯的、沒有經過處理的或者說是存在很多無用的資料，那麼需要進行一些特徵處理，特徵的縮放等等，滿足訓練資料的要求。我們將初次接觸到Sciki

《大數據日知錄》讀書筆記-ch12機器學習：範型與架構

框架 梯度 目前 reduce 訓練 編程 base 屬於 parallel 機器學習算法特點：叠代運算 損失函數最小化訓練過程中，在巨大參數空間中叠代尋找最優解 比如：主題模型、回歸、矩陣分解、SVM、深度學習 分布式機器學習的挑戰： - 網絡通信效率 -

【機器學習 基本概念】泊松分佈與泊松過程

      答案肯定是大於1/lambda的。假設你到達的時刻為t*，前一到達時刻為U，後一將要到達時刻為L，那麼U至t*可以看做一段泊松過程，t*到L也可以看做一段泊松過程，所以你記錄的平均到達間隔時間應該是兩個泊松過程相加後的平均等待時間。多個泊松過程相加得到的是愛爾蘭（Erlang）過程，期望為k/l

機器學習：模型性能評估與參數調優

rom 集中 進行 groups 然而 val k-fold 證明 strong 模型性能評估的常用指標 真陽性（True Positive，TP）：指被分類器正確分類的正例數據 真陰性（True Negative，TN）：指被分類器正確分類的負例數據 假陽性（False

斯坦福大學公開課機器學習：advice for applying machine learning | learning curves （改進學習算法：高偏差和高方差與學習曲線的關系）

繪制 學習曲線 pos 情況 但我 容量 繼續 並且 inf 繪制學習曲線非常有用，比如你想檢查你的學習算法，運行是否正常。或者你希望改進算法的表現或效果。那麽學習曲線就是一種很好的工具。學習曲線可以判斷某一個學習算法，是偏差、方差問題，或是二者皆有。 為了繪制一條學習曲

機器學習：驗證數據集與交叉驗證

問題： 很好 oss 時有 相對 循環 val 超參數 mage # 問題：如果將所有的數據集都作為訓練數據集，則對於訓練出的模型是否發生了過擬合會不自知，因為過擬合情況下，模型在訓練數據集上的誤差非常的小，使人覺得模型效果很好，但實際上可能泛化能力不足； # 方案：將

面向機器學習：數據平臺設計與搭建實踐

性能 開發 容易 模板 process ces 分享 -o 自己 機器學習作為近幾年的一項熱門技術，不僅憑借眾多“人工智能”產品而為人所熟知，更是從根本上增能了傳統的互聯網產品。在近期舉辦的2018 ArchSummit全球架構師峰會上，個推首席數據架構師袁凱，基於他在數據

機器學習：線性回歸——理論與代碼實現（基於正規方程與梯度下降）

overfit 返回 pen ear 隨機梯度 是否 很大的 建模 回歸 一 線性模型 給定由n個屬性描述的列向量\(f(\mathbf{x})={(x^{(1)};x^{(2)};...;x^{(n)})}\)，其中 \(x^{(j)}\)是\(\textbf{x}\)

概率統計與機器學習：常見分布性質總結

常見 測量 大小 為什麽 就是 由於 csdn article nbsp 參考：https://blog.csdn.net/qq_33638791/article/details/74926573 常見分布：高斯分布 來源：中心極限定理 定義：大量獨立的隨機變量之和趨向於正

機器學習：梯度消失（vanishing gradient）與梯度爆炸（exploding gradient）問題

1）梯度不穩定問題： 什麼是梯度不穩定問題：深度神經網路中的梯度不穩定性，前面層中的梯度或會消失，或會爆炸。 原因：前面層上的梯度是來自於後面層上梯度的乘乘積。當存在過多的層次時，就出現了內在本質上的不穩定場景，如梯度消失和梯度爆炸。 （2）梯度消失（vanishing gradient

機器學習：偏差、方差與正則化

1. 偏差和方差 1.1 偏差     通俗的講，偏差反映的模型學習的好壞程度或者捕捉訓練集主要特徵的能力大小。偏差大意味著學習不夠充分，主要特徵沒有捕捉到；偏差小意味著學習充分，捕捉到了訓練集中的主要特徵，當然這也存在過擬合的風險。  &

機器學習：訓練集，驗證集與測試集

來源：http://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702114&cid=2001693028 作用 訓練集：用於訓練模型的

機器學習：SVM（一）——線性可分支援向量機原理與公式推導

原理 SVM基本模型是定義在特徵空間上的二分類線性分類器（可推廣為多分類），學習策略為間隔最大化，可形式化為一個求解凸二次規劃問題，也等價於正則化的合頁損失函式的最小化問題。求解演算法為序列最小最優化演算法（SMO） 當資料集線性可分時，通過硬間隔最大化，學習一個線性分類器；資料集近似線性可分時，即存在一小

機器學習：Python模型的儲存與讀取

在學習機器學習的過程中，很多人都應該有這樣的疑問：模型訓練好了，以後要用怎麼辦呢？肯定不能再跑一邊資料，重新訓練模型以供使用，因為這樣太費時間。最好的辦法當然是，訓練和預測分開。訓練好模型後，將模型儲存好，當需要預測時，直接讀取模型檔案來呼叫，進行預測。 無論是sklearn還是Tensor