1. 基礎概念

隨機變數(連續,離散): 對可能狀態的描述, 在機器學習演算法中，每個樣本的特徵取值，標籤值都可以看作是一個隨機變數，包括離散型隨機變數和連續型隨機變數
概率分佈: 用來指定每個狀態的可能性, 對於離散型的概率分佈，稱為概率質量函式(Probability Mass Function, PMF)，對於連續性的變數，其概率分佈叫做概率密度函式(Probability Density Function, PDF).
邊緣概率分佈:如果我們知道了一組變數的聯合概率分佈,但想要了解其中一個子集的概率分佈,這個子集的概率分佈稱為邊緣概率分佈
聯合概率分佈:兩個或兩個以上隨機隨機變數聯合地概率分佈情況。
相互獨立:

如果∀x∈X,y∈Y,P(X=x,Y=y)=P(X=x)P(Y=y)$\mathrm{\forall }x\in X,y\in Y,P(X=x,Y=y)=P(X=x)P(Y=y)$，那麼就稱隨機變數Ｘ和Ｙ是相互獨立的。
條件獨立: 如果∀x∈X,y∈Y,z∈Z,P(X=x,Y=y‖Z=z)=P(X=x‖Z=z)P(Y=y‖Z=z)$\mathrm{\forall }x\in X,y\in Y,z\in Z,P(X=x,Y=y\Vert Z=z)=P(X=x\Vert Z=z)P(Y=y\Vert Z=z)$，那麼就稱隨機變數Ｘ和Ｙ是關於Ｚ相互獨立的。
貝葉斯準則: 在已知P(y‖x)$P(y\Vert x)$和P(x)$P(x)$的情況下，P(x‖y)＝P(x)P(y‖x)P(y)$P(x\Vert y)＝\frac{P(x)P(y\Vert x)}{P(y)}$，貝葉斯準則經常被用在已知引數的先驗分佈情況下求後驗分佈。
期望: 函式f(x)$f(x)$在某個分佈P(x)$P(x)$下的平均表現情況，記為Ex∼P[f(x)]=∫p(x)f(x)dx$E_{x\sim P}[f(x)]=\int p(x)f(x)dx$。
方差: 函式f(x)$f(x)$在某個分不下表現的差異性，記為Var(f(x)=E[(f(x)−E[f(x)])2]$Var(f(x)=E[(f(x)-E[f(x)]{)}^2]$。
協方差: 兩個變數之間線性相關的強度，記為Cov(f(x),g(x))=E[(f(x)−E[f(x)])(g(x)−E(g(x)))]$Cov(f(x),g(x))=E[(f(x)-E[f(x)])(g(x)-E(g(x)))]$。
條件概率: 求B條件下, A發生的概率:

P(A|B)=P(AB)P(B)$$P(A|B)=\frac{P(AB)}{P(B)}$$
條件概率的鏈式法則:
P(a,b,c)P(b,c)P(a,b,c)=P(a|b|c)P(b,c)=P(b|c)P(c)=P(a|b,c)P(b|c)P(c)$$\begin{array}{rl}P(a,b,c)& =P(a|b|c)P(b,c)\\ P(b,c)& =P(b|c)P(c)\\ P(a,b,c)& =P(a|b,c)P(b|c)P(c)\end{array}$$
資訊熵: 描述某個概率分佈中不確定性的度量，記為H(x)=−Ex∼P[logP(x)]$H(x)=-E_{x\sim P}[\log P(x)]$。
交叉熵: 描述兩個概率分佈之間相似度的一個指標，在機器學習中經常使用交叉熵作為分類任務的損失函式，記為

相關推薦

【深度學習基礎-09】神經網路-機器學習深度學習中~Sigmoid函式詳解

目錄 Sigmoid函式常常被用作神經網路中啟用函式   雙曲函式tanh(x) Logistic函式  拓展對比 Sigmoid函式常常被用作神經網路中啟用函式   函式的基本性質： 定義域：(−∞,+∞

深度學習中的概率知識詳解

1. 基礎概念 隨機變數(連續,離散): 對可能狀態的描述, 在機器學習演算法中，每個樣本的特徵取值，標籤值都可以看作是一個隨機變數，包括離散型隨機變數和連續型隨機變數 概率分佈: 用來指定每個狀態的可能性, 對於離散型的概率分佈，稱為概率質量函式(Prob

結構遞迴神經網路: 時空領域影象中的深度學習--CVPR2016最佳論文詳解

聯合編譯：陳圳、章敏、Blake 摘要 雖然相當適合用來進行序列建模，但深度遞迴神經網路體系結構缺乏直觀的高階時空架構。計算機視覺領域的許多問題都固有存在高階架構，所以我們思考從這方面進行提高。在解決現實世界中的高階直覺計算方面，時空領域影象是一個相當流行的工具。在本

【深度學習】Tensorflow函式詳解

  目錄 tf.truncated_normal tf.random_normal tf.nn.conv2d tf.nn.max_pool tf.reshape tf.nn.softmax tf.reduce_sum tf.reduce_max，tf.r

華為海思系列晶片開發學習中常見縮寫詳解

1. 系統控制 Hi —— HiSilicon 海思半導體公司 MPP —— Media Process Platform 媒體處理平臺 MPI —— MPP Programe Interface MPP程式介面 DDR —— Double Data-Rate 雙倍速率,DDR SD

深度學習 --- 模擬退火演算法詳解（Simulated Annealing， SA）

上一節我們深入探討了，Hopfield神經網路的性質，介紹了吸引子和其他的一些性質，而且引出了偽吸引子，因為偽吸引子的存在導致Hopfield神經網路正確率下降，因此本節致力於解決偽吸引子的存在。在講解方法之前我們需要再次理解一些什麼是偽吸引子，他到底是如何產生的？ 簡單來說說就是網路動態轉

深度學習 --- Hopfield神經網路詳解（吸引子的性質、網路的權值的設計、網路的資訊儲存容量）

上一節我們詳細的講解了Hopfield神經網路的工作過程，引出了吸引子的概念，簡單來說，吸引子就是Hopfield神經網路穩定時其中一個狀態，不懂的請看 Hopfield神經網路詳解，下面我們就開始看看吸引子有什麼性質： 1.吸引子的性質       &nb

深度學習 --- Hopfield神經網路詳解

       前面幾節我們詳細探討了BP神經網路，基本上很全面深入的探討了BP，BP屬於前饋式型別，但是和BP同一時期的另外一個神經網路也很重要，那就是Hopfield神經網路，他是反饋式型別。這個網路比BP出現的還早一點，他的學習規則是基於灌輸式學習，即

深度學習 --- 隨機神經網路詳解（玻爾茲曼機學習演算法、執行演算法）

BM網路的學習演算法 (1)  學習過程       通過有導師學習，BM網路可以對訓練集中各模式的概率分佈進行模擬，從而實現聯想記憶．學習的目的是通過調整網路權值使訓練集中的模式在網路狀態中以相同的概率再現．學習過程可分為兩個階段；第一階段

三維深度學習之pointnet系列詳解（一）

三維深度學習之pointnet系列詳解（一） 置頂 2018年05月09日 23:25:06 痛並快樂著呦西 閱讀數：4429 標籤： pointnet 三維深度學習 更多 個人分類： 3D Deep Learning

輕量級深度學習網路(五）:詳解輕量級網路Xception

 一、簡介 Xception並不是真正意義上的輕量化模型，只是其借鑑depth-wise convolution，而depth-wise convolution又是上述幾個輕量化模型的關鍵點，所以在此一併介紹，其思想非常值得借鑑。 Xception是Google提出的，a

【深度學習】Inception層詳解

本文參考Torch的dpnn包中Inception層的原始碼，講解該模組引數含義以及網路結構。 核心思想 Inception模組的起點是類似下圖的結構：通道從M變換到N，把多個不同尺寸的卷積結果串接（concat）起來。 由於M,N往往很大，這種結

深度學習----NLP-TextRank演算法詳解

文章目錄 1. PageRank演算法 2. TextRank演算法提取關鍵詞 3. TextRank演算法提取關鍵詞短語 4. TextRank生成摘要 5. 共現矩陣

實現遷徙學習－《Tensorflow 實戰Google深度學習框架》程式碼詳解

為了實現遷徙學習，首先是資料集的下載 #利用curl下載資料集 curl -o flower_photos.tgz http://download.tensorflow.org/example_images/flower_photos.tgz #在當前路徑下對下載的資料集進行解壓 tar xzf fl

深度學習----SIFT特徵（詳解）

1.SIFT概述 SIFT的全稱是Scale Invariant Feature Transform，尺度不變特徵變換，由加拿大教授David G.Lowe提出的。SIFT特徵對旋轉、尺度縮放、亮度變化等保持不變性，是一種非常穩定的區域性特徵。 1

【深度學習】Attention Model詳解

|Encoder-Decoder框架 本文只談談文字處理領域的AM模型，在圖片處理或者（圖片-圖片標題）生成等任務中也有很多場景會應用AM模型，但是我們此處只談文字領域的AM模型，其實圖片領域AM的機制也是相同的。 要提文字處理領域的AM模型，就不得不先談Encode

一分鐘帶你認識深度學習中的知識蒸餾

摘要：知識蒸餾（knowledge distillation）是模型壓縮的一種常用的方法 一、知識蒸餾入門 1.1 概念介紹 知識蒸餾（knowledge distillation）是模型壓縮的一種常用的方法，不同於模型壓縮中的剪枝和量化，知識蒸餾是通過構建一個輕量化的小模型，利用效能更好的大模型的監督資訊，

tensorflow學習筆記--深度學習中的epochs，batch_size，iterations詳解

深度學習框架中涉及很多引數，如果一些基本的引數如果不瞭解，那麼你去看任何一個深度學習框架是都會覺得很困難，下面介紹幾個新手常問的幾個引數。batch深度學習的優化演算法，說白了就是梯度下降。每次的引數更新有兩種方式。第一種，遍歷全部資料集算一次損失函式，然後算函式對各個引數的

深度學習中的epochs，batch_size，iterations詳解---對這三個概念說的比較清楚

深度學習框架中涉及很多引數，如果一些基本的引數如果不瞭解，那麼你去看任何一個深度學習框架是都會覺得很困難，下面介紹幾個新手常問的幾個引數。batch深度學習的優化演算法，說白了就是梯度下降。每次的引數更新有兩種方式。第一種，遍歷全部資料集算一次損失函式，然後算函式對各個引數的

深度學習中的池化詳解 | Pooling in Deep learning

本文由多篇部落格總結整理而成，參考部落格見文末，侵刪。 目錄 最大池化 ： 平均池化 重疊池化 參考文獻 參考部落格 首先，什麼是CNN ------------------------------------