CTC學習筆記（二）訓練和公式推導

整體思路

訓練流程和傳統的神經網路類似，構建loss function，然後根據BP演算法進行訓練，不同之處在於傳統的神經網路的訓練準則是針對每幀資料，即每幀資料的訓練誤差最小，而CTC的訓練準則是基於序列（比如語音識別的一整句話）的，比如最大化p(z|x)，序列化的概率求解比較複雜，因為一個輸出序列可以對應很多的路徑，所有引入前後向演算法來簡化計算。

前期準備

輸入
x,長度為T
輸出集合
A表示正常的輸出
A′=A⋃{blank}表示輸出全集
A′T表示輸入x對應的輸出元素集合
輸出序列
π表示輸出路徑
l表示輸出label序列
F表示路徑到label序列的對映關係
概率
y

tk表示時間t輸出k的概率
p(π|x)=∏t=1Tytπt表示基於輸入x的輸出π路徑的概率
p(l|x)=∑π∈F−1(l)p(π|x)表示輸出label序列的概率是多條路徑的概率和。

前後向演算法

這裡寫圖片描述
考慮到計算p(l|x)需要計算很多條路徑的概率，隨著輸入長度呈指數化增加，可以引入類似於HMM的前後向演算法來計算該概率值。
為了引入blank節點，在label首尾以及中間插入blank節點，如果label序列原來的長度為U，那麼現在變為U’=2U+1。

前向

前向變數為α(t,u)，表示t時刻在節點u的前向概率值，其中u∈[1,2U+1].
初始化值如下：

α(1

,1)=y1b
α(1,2)=y1l1
α(1,u)=0,∀u>2
遞推關係：
α(t,u)=ytl′u∑i=f(u)uα(t−1,i)
其中
f(u)={u−1u−2if l′u=blank or l′u−2=l′uotherwise
注：如果l表示{c,a,t}，那麼l’表示為{b,c,b,a,b,t,b}，所以原來在l中的下標u為2，在l’中的下標u變為4。
α(t,u)=0∀u<U′−2(T−t)−1對應於上圖中的右上角部分，因為時間的限制，有些節點不可能到達最後的終止節點。
根據上圖，很容易理解前向的遞推關係。

後向

初始化值：

β(T,U′)=1

β(T,U′−1)=1
β(T,u)=0,∀u<U′−2
α(1,u)=0,∀u>2
遞推關係：
β(t,u)=∑i=ug(u)β(t+1,i)yt+1l′i
其中
g(u)={u+1u+2if l′u=blank or l′u+2=l′uotherwise

取log

概率計算在log計算，避免underflow，其中log加可以通過以下形式轉化：

CTC學習筆記（二）訓練和公式推導

整體思路

前期準備

前後向演算法

前向

後向

取log

CTC學習筆記（二）訓練和公式推導

java學習筆記（二）parseInt和valueOf 以及字串+和StringBuilder的區別

Java NIO 學習筆記（二）----聚集和分散，通道到通道

C# EMGU 3.4.1學習筆記（二）XML和YAML檔案的寫入

機器學習筆記（二）矩陣和線性代數例：用Python實現SVD分解進行圖片壓縮

Spring-Cloud學習筆記（二）RestTemplate和Feign的使用方式以及部分註解的使用

python學習筆記（二）列表和元組

數據結構學習筆記（二）線性表的順序存儲和鏈式存儲

javascript學習筆記（二）：定義函數、調用函數、參數、返回值、局部和全局變量

設計模式學習筆記（二）--簡單工廠模式和工廠模式

JVM學習筆記（二）--方法調用之靜態分配和動態分配

SOC中的DFT和BIST對比與比較-IC學習筆記（二）

opencv 視覺項目學習筆記（二）：基於 svm 和 knn 車牌識別

Scala學習筆記（二）：類和物件

html和css學習筆記（二）

《資料結構與演算法 python語言描述》學習筆記（二）————抽象資料型別和Python類

opencv 視覺專案學習筆記（二）：基於 svm 和 knn 車牌識別

cs231n斯坦福基於卷積神經網路的CV學習筆記（二）神經網路訓練細節

ElasticSearch學習筆記（二）IK分詞器和拼音分詞器的安裝

Scala學習筆記（二）：控制結構和函式

CTC學習筆記（二） 訓練和公式推導

整體思路

前期準備

前後向演算法

前向

後向

取log

相關推薦

CTC學習筆記（二）訓練和公式推導