3.1 為什麼要使用概率？

3.2 隨機變數

3.3 概率分佈

3.3.1 離散型變數和概率質量函式

• 離散型變數的概率分佈可以用概率質量函式（probabilit mass function， PMF）描述。

3.3.2 連續型變數和概率密度函式

• 連續型隨機變數的分佈可以用概率密度函式（probability denstity function， PDF）表示。概率密度函式p(x)並沒有直接對特定的狀態給出概率，而是給出落在面積為δx 的無限小的區域內的概率為p(x)δx 。

3.4邊緣概率

3.5條件概率

3.6條件概率的鏈式法則

3.7獨立性和條件獨立性

3.8期望、方差和協方差

• 期望，Ex∼P[f(x)]=∑xP(x)f(x)對於連續型：Ex∼P[f(x)]=∫p(x)f(x)dx.
• 方差（variance）衡量的是當我們對x根據它概率分佈進行取樣時，隨機變數x的函式值會呈現多大的差異：Var((fx))=E[(f(x)−E[f(x)])2].方差的平方根被稱為標準差。

• 協方差（covariance）給出兩個變數線性相關性的強度：

  Cov(f(x),g(y))=E[(f(x)−E[f(x)])(g(y)−E[g(y)])]協方差的絕對值大，意味著變數值變化很大並且它們同時距離各自的均值很遠。
  • 若協方差為正，兩個變數都傾向於同時取得相對較大的值
  • 若協方差為負，其中一個變數傾向於取得相對較大的值的同時，另一個變數傾向於取得較小的值，反之亦然。

  協方差矩陣（covariance matrix）是一個n×n的矩陣。 協方差矩陣的對角元是方差：

  Cov(xi,xi)=Var(xi)

3.9 常用概率分佈

3.9.1 Bernoulli分佈

• Bernoulli分佈是單個二值隨機變數的分佈。由單個引數ϕ控制，表示隨機變數等於1的概率：P(x=1)=ϕ P(x=0)=1−ϕP(x=x)=ϕx(1−ϕ)1−xEx[x]=ϕVarx(x)=ϕ(1−ϕ)

3.9.2 Multinoulli分佈

• Multinoulli分佈或者範疇分佈（categorycal distribution）是指在具有k
  個不同狀態的單個離散型隨機變數上的分佈。

3.9.3 高斯分佈

• 高斯分佈（Gaussian distribution）也稱正態分佈（normal distribution）：N(x;μ,σ2)=12πσ2−−−−−√exp(−12σ2(x−μ)2)分佈的均值E[x]=μ，分佈的標準差用σ表示，方差σ2。
• 當我們缺乏關於某個實數上分佈的先驗知識而不知道採用哪種分佈，選擇正態分佈的原因：
  
  • 很多分佈的真實情況比較接近正態分佈。
  • 在具有相同方差的所有概率分佈中，正態分佈在實數上具有最大的不確定性。

3.9.4指數分佈和Laplace分佈

• 泊松分佈：一個時間段內時間平均發生的次數（離散變數）
• 指數分佈：兩件事發生的平均時間間隔。p(x;λ)=λ1x≥0exp(−λx)其中 1x≥0是指示函式（indicator function），使得x取負值的概率為零。泊松分佈和指數分佈
• Laplace分佈：Laplace(x;μ,γ)=12γexp(−|x−μ|γ)
  其中μ是位置引數，γ尺度引數。
• 正態分佈用平均值μ的差的平方(x−μ)2。
• Laplace用相對平均值的差的絕對值表示，尾部比正態分佈更平坦。（聲音辨識、JPEG壓縮等）E(x)=μVar(x)=2σ2拉普拉斯分佈-百度百科

3.9.5 Dira分佈和經驗分佈

• 所有質量都集中在一點上。Dirac Delta函式：p(x)=δ(x−

  相關推薦

  深度學習第三章-概率與資訊理論筆記

  3.1 為什麼要使用概率？ 3.2 隨機變數 3.3 概率分佈 3.3.1 離散型變數和概率質量函式 離散型變數的概率分佈可以用概率質量函式（probabilit mass function， PMF）描述。 3.3.2 連續型變數

  深度學習（花書）讀書筆記——第三章-概率與資訊理論

  當方差很小時,f (x) 的值形成的簇比較接近它們的期望值。方差的平方根被稱為標準差(standard deviation)。協方差(covariance)在某種意義上給出了兩個變數線性相關性的強度以及這些變數的尺度:        協方差的絕對值如果很大則意味著變數值變化很大並且它們同時距離各自的均值很遠。

  反向傳播的工作原理（深度學習第三章）

  What is backpropagation really doing? 梯度向量的每一項大小是在告訴大家，代價函式對於每一個引數有多敏感。 對於改變啟用值，可以有三種方法： 1.增加偏置 2.增加權重 3.改變上一層的啟用值 對於

  Excel課程學習第三課排序與替換

  分享圖片 選中 表格 技術分享 定位 自定義 復制 可見 方向 一、排序 1、簡單排序 點到某一個單元格，然後選擇排序，就可以按照相應的順序來排序。 2、自定義排序 按照重要性條件來排序 也可以按照重要性從輕到重挨個排序。 3、按顏色排序 4、 按照中文數字排序，按照自

  python學習第三章

  cde python 表示 16px 字符串 abcdefg cor 截取 length 基本數據類型 python的基本數據類型如下: 1. int ==> 整數. 主要用來進行數學運算2. str ==> 字符串, 可以保存少量數據並進行相應的操作3. bo

  現代軟件工程-構建之法---第三章 練習與討論

  討論 工業 規模 str 自身 寬度 內部 時也 直接 1.選哪一種醫生？ （1）.如果是我的話，我會選擇C類型的醫生。因為c類型的醫生比較靠譜，首先他的從業經驗比較豐富，遇見過很多類似的病歷，對病情包括手術比較有把握，對患者可能會比較了解；還有就是他可以一邊開刀一邊跟別人

  第三章 集合與排序 3-3 為聚合結果指定條件

  執行順序 排序 png 常數 第三章 info mage 分享圖片 需要 一、HAVING 子句 HAVING 和 WHERE並用時 SELECT 的執行順序: FROM ---WHERE ---GROUP BY----HAVING---- SELECT 二、HAV

  第三章 棧與佇列 練習題 10:括號畫家

  10:括號畫家 總時間限制:  1000ms   記憶體限制:  262144kB 描述 Candela是一名漫畫家，她有一個奇特的愛好，就是在紙上畫括號。這一天，剛剛起床的Candela畫了一排括號序列，其中包含小括號()、中括號[]和

  深度學習第三課 多層感知機

          多層感知機針對於中間有隱藏層的神經網路結構，對於資料的每一層傳遞都會相應的多一層[w,b]，這中間使用的傳參函式稱之為啟用函式，如果啟用函式是線性的話，那麼就沒什麼意義，無論中間有多少層，其實和沒有隱藏層是一樣的，所以需要非線性的函式作為啟用函

  《NLP漢語自然語言處理原理與實踐》第三章 詞彙與分詞技術

  中文分詞的研究經歷了二十多年，基本上可以分為如下三個流派。 1.機械式分詞法(基於字典)。機械分詞的原理是將文件中的字串與詞典中的詞條進行逐一匹配，如果詞典中找到某個字串，則匹配成功，可以切分，否則不予切分。基於詞典的機械分詞法，實現簡單、實用性強，但機械分詞法的最大的缺點是詞典的完備

  JAVA學習第三章

  package Day2; public class Demo3 { public static void main(String[] args) { // TODO Auto-generated method stub int a=1; int b=2; System.

  吳恩達第一門-神經網路和深度學習第三週6-10學習筆記

  吳恩達第一門-神經網路和深度學習第三週6-10學習筆記 3.6啟用函式 啟用函式 圖中給出了前面課程中所學到的利用神經網路計算輸出值的具體步驟。其中的 σ

  TensroFlow學習——第三章（三）

  卷積神經網路遷移學習 基於訓練好的Inception-v3的模型，對flower_photos資料集進行分類 訓練結果如下，測試集的準確率為91.0082% 演算法如下: import os import random import numpy as np import t

  TensroFlow學習——第三章（一）

  MINIST數字識別問題 全連線層實現手寫數字識別 採用了L2正則化、滑動平均模型和指數衰減學習率 訓練結果為：訓練集93%，驗證集95.36%，測試集95.01% 第一部分：前向傳播和網路引數 # 定義前向傳播和神經網路中的引數 import tensorflow as tf

  TensroFlow學習——第三章（二）

  MINIST數字識別問題 卷積神經網路實現手寫數字識別 採用了L2正則化、滑動平均模型，固定學習率 訓練結果為：訓練集100%，驗證集99.4%，測試集99.43% 第一部分：前向傳播和網路引數 # 定義前向傳播和神經網路中的引數 import tensorflow as tf

  機器學習第三章

  1.線性模型的基本形式(P53)        給定d個屬性描述，預測函式如下形式          一般向量形式                                                                             

  JAVA基礎第三章-類與物件、抽象類、介面 JAVA基礎第一章-初識java JAVA基礎第二章-java三大特性：封裝、繼承、多型

   業內經常說的一句話是不要重複造輪子，但是有時候，只有自己造一個輪子了，才會深刻明白什麼樣的輪子適合山路，什麼樣的輪子適合平地！ 我將會持續更新java基礎知識，歡迎關注。   往期章節： JAVA基礎第一章-初識java JAVA基礎第二章-java三大特

  JAVA基礎第三章-類與物件、抽象類、介面

  　　前言 　　 　　標題沒有看錯，真的是讓我寫個 bug！ 　　 　　剛接到這個需求時我內心沒有絲毫波瀾，甚至還有點激動。這可是我特長啊；終於可以光明正大的寫 bug 了

  JAVA基礎第四章-集合框架Collection篇 JAVA基礎第一章-初識java JAVA基礎第二章-java三大特性：封裝、繼承、多型 JAVA基礎第三章-類與物件、抽象類、介面 記一次list迴圈刪除元素的突發事件！

   業內經常說的一句話是不要重複造輪子，但是有時候，只有自己造一個輪子了，才會深刻明白什麼樣的輪子適合山路，什麼樣的輪子適合平地！ 我將會持續更新java基礎知識，歡迎關注。   往期章節： JAVA基礎第一章-初識java JAVA基礎第二章-java三大特性

  第三章 運算子與表示式

  數字物件的運算  “//”代表整除，對int和float都適用，“/”代表正常的除法，有餘數 對於複數，區域和擷取除法是無效的 >>> 3//2 1 >>> 3/2 1.5 >>> 1.5//0.3 5.0 >&