1. 程式人生 > >深度學習基礎--loss與啟用函式--Total variation loss

深度學習基礎--loss與啟用函式--Total variation loss

Total variation loss/total variation regularization/Total variation denoising

  參考資料:https://en.wikipedia.org/wiki/Total_variation_denoising
  總變差有點像衡量一個函式變化程度的函式。BV模型一定程度上是L1影象模型。
  用在影象上,total variation loss可以使影象變得平滑" "訊號處理中,總變差去噪,也稱為總變差正則化,是最常用於數字影象處理的過程,其在噪聲去除中具有應用。
  它基於這樣的原理:具有過多和可能是虛假細節的訊號具有高的總變化,即,訊號的絕對梯度的積分是高的。根據該原理,減小訊號的總變化,使其與原始訊號緊密匹配,去除不需要的細節,同時保留諸如邊緣的重要細節。該概念由Rudin,Osher和Fatemi於1992年開創,因此被稱為ROF模型。
  這種噪聲消除技術優於簡單的技術,例如線性平滑或中值濾波,這些技術可以降低噪聲,但同時可以更大或更小程度地消除邊緣。相比之下,即使在低信噪比下,總變差去噪在同時保留邊緣同時平滑掉平坦區域中的噪聲方面也非常有效。
在這裡插入圖片描述

一些解釋

  首先是數學上的,實際上,在數學上更容易掌握的是L2影象模型。假設噪聲(這裡僅以去噪為例)為高斯噪聲,則使用L2影象模型將匯出33的模板卷積,相當於33模板的高斯低通濾波。這種卷積操作在數學上也稱為磨光,也就是說,通過卷積得到的函式被磨光了——所謂光滑意味著無窮可微性。這實際上與自然影象有相當的距離,自然影象應該不是光滑的。BV模型正式為了解決這個問題。或者說,BV模型的產生不是為了光滑,而是為了解決過於光滑的問題——顯然的,正如絕對值函式一樣,它容許一些點的不可導性,或者說不光滑的點的存在。
  BV模型使得影象是分段(片)光滑的,而不是無窮可微(光滑)的。正是由於不可導點的容許性,從而BV模型比L2影象模型更接近自然影象,比如對影象邊的保持。回到Lp空間,BV模型一定程度上是L1影象模型。

相關推薦

深度學習基礎--loss啟用函式--Total variation loss

Total variation loss/total variation regularization/Total variation denoising   參考資料:https://en.wikipedia.org/wiki/Total_variation_

深度學習基礎--loss啟用函式--廣義線性模型各種各樣的啟用函式(配圖)

廣義線性模型是怎被應用在深度學習中?   深度學習從統計學角度,可以看做遞迴的廣義線性模型。廣義線性模型相對於經典的線性模型(y=wx+b),核心在於引入了連線函式g(.),形式變為:y=g(wx+b)。   深度學習時遞迴的廣義線性模型,神經元的啟用函式,即為廣義線性模型的連結函式

深度學習基礎--loss啟用函式--Relu的變種

Relu的變種 softplus/softrelu   softplus 是對 ReLU 的平滑逼近的解析函式形式。   softplus的公式:   f(x)=ln(1+e^x) Relu與PRelu   ai是增加的引數,ai=0;為ReLU,若ai取很小的固定值,則為

深度學習基礎--loss啟用函式--Relu(Rectified Linear Units)

ReLu(Rectified Linear Units),即修正線性單元   它是不飽和的、線性的函式。可以認為是一種特殊的maxout。 Relu的優點   1)採用sigmoid和tanh等函式,算啟用函式時(指數運算),計算量大,反向傳播求誤差梯度時,求導涉及除法,計算量相

深度學習基礎--loss啟用函式--好的啟用函式的性質

好的啟用函式的性質   1)不會飽和。sigmoid和tanh啟用函式在兩側尾端會有飽和現象,這會使導數在這些區域接近零,從而阻礙網路的訓練。   2)零均值。ReLU啟用函式的輸出均值不為零,這會影響網路的訓練。   3)容易計算。   使用:最好不要用 sigmoid,你可以試試

深度學習基礎--loss啟用函式--感知損失(Perceptual Loss)

感知損失(Perceptual Loss)   常用於GAN網路生成。   Perceptual Loss的出現證明了一個訓練好的CNN網路的feature map可以很好的作為影象生成中的損失函式的輔助工具。   GAN可以利用監督學習來強化生成網路的效果。其效果的原因雖然還不具可解釋

深度學習基礎--loss啟用函式--合頁損失函式、摺頁損失函式;Hinge Loss;Multiclass SVM Loss

合頁損失函式、摺頁損失函式;Hinge Loss;Multiclass SVM Loss   Hinge Loss是一種目標函式(或者說損失函式)的名稱,有的時候又叫做max-margin objective。用於分類模型以尋找距離每個樣本的距離最大的決策邊界,即最大化樣本和邊界之間的邊

深度學習基礎--loss啟用函式--sigmiodsoftmax;對數損失函式交叉熵代價函式

sigmiod與softmax   sigmiod就是邏輯迴歸(解決二分類問題);softmax是多分類問題的邏輯迴歸   雖然邏輯迴歸能夠用於分類,不過其本質還是線性迴歸。它僅線上性迴歸的基礎上,在特徵到結果的對映中加入了一層sigmoid函式(非線性)對映,即先把特徵線性求和,然後使

深度學習基礎--loss啟用函式--CTC(Connectionist temporal classification)的loss

CTC(Connectionist temporal classification)的loss   用在online sequence。由於需要在分類結果中新增一個{no gesture}的類別,如果用在segmented video的分類時,需要去掉這類(因為視訊總屬於某個類)。

深度學習基礎--loss啟用函式--loss簡介

loss簡介   為了訓練我們的模型,我們首先需要定義一個指標來評估這個模型是好的。反過來想,在機器學習,我們通常定義指標來表示一個模型是壞的,這個指標稱為成本(cost)或損失(loss),然後儘量最小化這個指標。但是,這兩種方式是相同的。 常見的損失函式  

深度學習基礎--loss啟用函式--triplet loss

triplet loss   triplet是一個三元組,這個三元組是這樣構成的:從訓練資料集中隨機選一個樣本,該樣本稱為Anchor,然後再隨機選取一個和Anchor (記為x_a)屬於同一類的樣本和不同類的樣本,這兩個樣本對應的稱為Positive (記為x

深度學習幾種主流啟用函式總結

啟用函式的定義 加拿大蒙特利爾大學的Bengio教授在 ICML 2016 的文章[1]中給出了啟用函式的定義:啟用函式是對映 h:R→R,且幾乎處處可導。 啟用函式的性質 非線性: 當啟用函式是線性的時候,一個兩層的神經網路就可以逼近基本上所有的函數了。但是,如果啟

深度學習筆記(三):啟用函式和損失函式

這一部分來探討下啟用函式和損失函式。在之前的logistic和神經網路中,啟用函式是sigmoid, 損失函式是平方函式。但是這並不是固定的。事實上,這兩部分都有很多其他不錯的選項,下面來一一討論 3. 啟用函式和損失函式 3.1 啟

Tensorflow深度學習之五:啟用函式

啟用函式的作用 在神經網路中,啟用函式的作用是能夠給神經網路加入一些非線性因素,使得神經網路可以更好地解決較為複雜的問題。 我們嘗試引入非線性的因素,對樣本進行分類。 在神經網路中也類似,我們需要引入一些非線性的因素,來更好地解決複雜的問題。而啟用函式恰好

深度學習入門(一)感知機啟用函式

文章目錄 感知機 啟用函式 1.sigmoid 2.tanh 3.relu 4.softmax 25天看完了吳恩達的機器學習以及《深度學習入門》和《tensorflow實戰》兩本書,吳恩達的學習課程只學了理論知識,另外兩本

深度學習基礎--傳統機器學習深度學習的區別

傳統機器學習與深度學習的區別   1)傳統機器學習:利用特徵工程 (feature engineering),人為對資料進行提煉清洗   2)深度學習:利用表示學習 (representation learning),機器學習模型自身對資料進行提煉,不需要選擇特徵、壓縮維度、轉換格式等對

深度學習基礎--正則化norm--區域性響應歸一化層(Local Response Normalization, LRN)

區域性響應歸一化層(Local Response Normalization, LRN)   區域性響應歸一化層完成一種“臨近抑制”操作,對區域性輸入區域進行歸一化。   該層實際上證明已經沒啥用了,一般也不用了。   參考資料:見郵件 公式與計算   該層需要的引數包括:  

深度學習基礎--正則化norm--Ln正則化綜述

L1正則化   L1範數是指向量中各個元素的絕對值之和。 對於人臉任務   原版的人臉畫素是 64*64,顯然偏低,但要提高人臉清晰度,並不能僅靠提高圖片的解析度,還應該在訓練方法和損失函式上下功夫。眾所周知,簡單的 L1Loss 是有數學上的均值性的,會導致模糊。

深度學習基礎--正則化norm--L1範數L2範數的聯絡

L1範數與L2範數的聯絡   假設需要求解的目標函式為:E(x) = f(x) + r(x)   其中f(x)為損失函式,用來評價模型訓練損失,必須是任意的可微凸函式,r(x)為規範化約束因子,用來對模型進行限制。   根據模型引數的概率分佈不同,r(x)一般有:   1)L1正規化

深度學習基礎--正則化norm--正則化(Regularization)

正則化(Regularization)   一種防止過擬合,提高泛化能力的技巧,因此演算法正則化的研究成為機器學習中主要的研究主題。此外,正則化還是訓練引數數量大於訓練資料集的深度學習模型的關鍵步驟。   正則化可以避免演算法過擬合,過擬合通常發生在演算法學習的輸入資料無法反應真實的分佈