深度學習基礎--loss與啟用函式--CTC（Connectionist temporal classification）的loss
CTC（Connectionist temporal classification）的loss
用在online sequence。由於需要在分類結果中新增一個{no gesture}的類別，如果用在segmented video的分類時，需要去掉這類（因為視訊總屬於某個類）。
CTC常用在NLP當中，解決的問題是連續訓練的時候不好標資料的問題。比如一段”This is a new world”的語音辨識訓練樣本，往往不能或者代價太大去辨識出具體哪個字母或者音素在什麼位置出現或者終結，CTC提供了一種統計方法，只需要給整體進行標註，並不需要對具體的字母進行標註。
相關推薦
深度學習基礎--loss與啟用函式--CTC（Connectionist temporal classification）的loss
CTC（Connectionist temporal classification）的loss 用在online sequence。由於需要在分類結果中新增一個{no gesture}的類別，如果用在segmented video的分類時，需要去掉這類（因為視訊總屬於某個類）。
CTC（Connectionist Temporal Classification）論文筆記
1. 思想 序列學習任務需要從未分割的輸入資料中預測序列的結果。HMM模型與CRF模型是序列標籤任務中主要使用的框架，這些方法對於許多問題已經獲得了較好的效果，但是它們也有缺點： （1）需要大量任務相關的知識，例如，HMM中的狀態模型，CRF中的輸入特徵選擇； （2）需要有獨立性假設
CTC（Connectionist Temporal Classification）介紹
CTC解決什麼問題 CTC，Connectionist Temporal Classification，用來解決輸入序列和輸出序列難以一一對應的問題。 舉例來說，在語音識別中，我們希望音訊中的音素和翻譯後的字元可以一一對應，這是訓練時一個很天然的想法。但是要對齊是一件很困難的事，如下圖所示（圖源見參考資料[1
深度學習基礎--loss與啟用函式--廣義線性模型與各種各樣的啟用函式(配圖)
廣義線性模型是怎被應用在深度學習中? 深度學習從統計學角度，可以看做遞迴的廣義線性模型。廣義線性模型相對於經典的線性模型(y=wx+b)，核心在於引入了連線函式g(.)，形式變為：y=g(wx+b)。 深度學習時遞迴的廣義線性模型，神經元的啟用函式，即為廣義線性模型的連結函式
深度學習基礎--loss與啟用函式--Relu的變種
Relu的變種 softplus/softrelu softplus 是對 ReLU 的平滑逼近的解析函式形式。 softplus的公式： f(x)=ln(1+e^x) Relu與PRelu ai是增加的引數，ai=0；為ReLU，若ai取很小的固定值，則為
深度學習基礎--loss與啟用函式--Relu(Rectified Linear Units)
ReLu(Rectified Linear Units)，即修正線性單元 它是不飽和的、線性的函式。可以認為是一種特殊的maxout。 Relu的優點 1）採用sigmoid和tanh等函式，算啟用函式時（指數運算），計算量大，反向傳播求誤差梯度時，求導涉及除法，計算量相
深度學習基礎--loss與啟用函式--好的啟用函式的性質
好的啟用函式的性質 1）不會飽和。sigmoid和tanh啟用函式在兩側尾端會有飽和現象，這會使導數在這些區域接近零，從而阻礙網路的訓練。 2）零均值。ReLU啟用函式的輸出均值不為零，這會影響網路的訓練。 3）容易計算。 使用：最好不要用 sigmoid，你可以試試
深度學習基礎--loss與啟用函式--感知損失(Perceptual Loss)
感知損失(Perceptual Loss) 常用於GAN網路生成。 Perceptual Loss的出現證明了一個訓練好的CNN網路的feature map可以很好的作為影象生成中的損失函式的輔助工具。 GAN可以利用監督學習來強化生成網路的效果。其效果的原因雖然還不具可解釋
深度學習基礎--loss與啟用函式--合頁損失函式、摺頁損失函式；Hinge Loss；Multiclass SVM Loss
合頁損失函式、摺頁損失函式；Hinge Loss；Multiclass SVM Loss Hinge Loss是一種目標函式（或者說損失函式）的名稱，有的時候又叫做max-margin objective。用於分類模型以尋找距離每個樣本的距離最大的決策邊界，即最大化樣本和邊界之間的邊
深度學習基礎--loss與啟用函式--sigmiod與softmax；對數損失函式與交叉熵代價函式
sigmiod與softmax sigmiod就是邏輯迴歸（解決二分類問題）；softmax是多分類問題的邏輯迴歸 雖然邏輯迴歸能夠用於分類，不過其本質還是線性迴歸。它僅線上性迴歸的基礎上，在特徵到結果的對映中加入了一層sigmoid函式（非線性）對映，即先把特徵線性求和，然後使
深度學習基礎--loss與啟用函式--loss簡介
loss簡介 為了訓練我們的模型，我們首先需要定義一個指標來評估這個模型是好的。反過來想，在機器學習，我們通常定義指標來表示一個模型是壞的，這個指標稱為成本（cost）或損失（loss），然後儘量最小化這個指標。但是，這兩種方式是相同的。 常見的損失函式
深度學習基礎--loss與啟用函式--triplet loss
triplet loss triplet是一個三元組，這個三元組是這樣構成的：從訓練資料集中隨機選一個樣本，該樣本稱為Anchor，然後再隨機選取一個和Anchor (記為x_a)屬於同一類的樣本和不同類的樣本,這兩個樣本對應的稱為Positive (記為x
深度學習基礎--loss與啟用函式--Total variation loss
Total variation loss/total variation regularization/Total variation denoising 參考資料：https://en.wikipedia.org/wiki/Total_variation_
深度學習幾種主流啟用函式總結
啟用函式的定義 加拿大蒙特利爾大學的Bengio教授在 ICML 2016 的文章[1]中給出了啟用函式的定義：啟用函式是對映 h:R→R，且幾乎處處可導。 啟用函式的性質 非線性： 當啟用函式是線性的時候，一個兩層的神經網路就可以逼近基本上所有的函數了。但是，如果啟
深度學習筆記(三)：啟用函式和損失函式
這一部分來探討下啟用函式和損失函式。在之前的logistic和神經網路中，啟用函式是sigmoid, 損失函式是平方函式。但是這並不是固定的。事實上，這兩部分都有很多其他不錯的選項，下面來一一討論 3. 啟用函式和損失函式 3.1 啟
Tensorflow深度學習之五：啟用函式
啟用函式的作用 在神經網路中，啟用函式的作用是能夠給神經網路加入一些非線性因素，使得神經網路可以更好地解決較為複雜的問題。 我們嘗試引入非線性的因素，對樣本進行分類。 在神經網路中也類似，我們需要引入一些非線性的因素，來更好地解決複雜的問題。而啟用函式恰好
深度學習筆記——理論與推導之Backpropagation（二）
Backpropagation（反向傳播）： 背景——Cost Function與Gradient Descent Cost Function： Gradient Descent： backpropagation是一種高效計算網路中gr
【深度學習基礎-07】神經網路演算法（Neural Network）上--BP神經網路基礎理論
目錄 1 起源 2 多層向前神經網路（Multilayer Feed-Forward Neural Network） 3 設計神經網路 4 交叉驗證方法 5 BP神經網路演算法 1 起源 以人腦中的神經網路為啟發，出現過不同的版本 最著名的演算法是19
考察深度學習基礎知識的45道題目（附答案）
1 神經網路模型（Neural Network）因受人腦的啟發而得名。 神經網路由許多神經元（Neuron）組成，每個神經元接受一個輸入，處理它並給出一個輸出。這裡是一個真實的神經元的圖解表示。下列關於神經元的陳述中哪一個是正確的？ 一個神經元只有
深度學習【6】二值網路（Binarized Neural Networks）學習與理解
http://blog.csdn.net/linmingan/article/details/51008830 Binarized Neural Networks: Training Neural Networks with Weights and Ac