深度學習基礎--loss與啟用函式--好的啟用函式的性質
好的啟用函式的性質
1）不會飽和。sigmoid和tanh啟用函式在兩側尾端會有飽和現象，這會使導數在這些區域接近零，從而阻礙網路的訓練。
2）零均值。ReLU啟用函式的輸出均值不為零，這會影響網路的訓練。
3）容易計算。
使用：最好不要用 sigmoid，你可以試試 tanh，不過可以預期它的效果會比不上 ReLU 和 Maxout。
另外，通常來說，很少會把各種啟用函式串起來在一個網路中使用的。
相關推薦
深度學習基礎--loss與啟用函式--好的啟用函式的性質
好的啟用函式的性質 1）不會飽和。sigmoid和tanh啟用函式在兩側尾端會有飽和現象，這會使導數在這些區域接近零，從而阻礙網路的訓練。 2）零均值。ReLU啟用函式的輸出均值不為零，這會影響網路的訓練。 3）容易計算。 使用：最好不要用 sigmoid，你可以試試
深度學習基礎--loss與啟用函式--廣義線性模型與各種各樣的啟用函式(配圖)
廣義線性模型是怎被應用在深度學習中? 深度學習從統計學角度，可以看做遞迴的廣義線性模型。廣義線性模型相對於經典的線性模型(y=wx+b)，核心在於引入了連線函式g(.)，形式變為：y=g(wx+b)。 深度學習時遞迴的廣義線性模型，神經元的啟用函式，即為廣義線性模型的連結函式
深度學習基礎--loss與啟用函式--Relu的變種
Relu的變種 softplus/softrelu softplus 是對 ReLU 的平滑逼近的解析函式形式。 softplus的公式： f(x)=ln(1+e^x) Relu與PRelu ai是增加的引數，ai=0；為ReLU，若ai取很小的固定值，則為
深度學習基礎--loss與啟用函式--Relu(Rectified Linear Units)
ReLu(Rectified Linear Units)，即修正線性單元 它是不飽和的、線性的函式。可以認為是一種特殊的maxout。 Relu的優點 1）採用sigmoid和tanh等函式，算啟用函式時（指數運算），計算量大，反向傳播求誤差梯度時，求導涉及除法，計算量相
深度學習基礎--loss與啟用函式--感知損失(Perceptual Loss)
感知損失(Perceptual Loss) 常用於GAN網路生成。 Perceptual Loss的出現證明了一個訓練好的CNN網路的feature map可以很好的作為影象生成中的損失函式的輔助工具。 GAN可以利用監督學習來強化生成網路的效果。其效果的原因雖然還不具可解釋
深度學習基礎--loss與啟用函式--合頁損失函式、摺頁損失函式；Hinge Loss；Multiclass SVM Loss
合頁損失函式、摺頁損失函式；Hinge Loss；Multiclass SVM Loss Hinge Loss是一種目標函式（或者說損失函式）的名稱，有的時候又叫做max-margin objective。用於分類模型以尋找距離每個樣本的距離最大的決策邊界，即最大化樣本和邊界之間的邊
深度學習基礎--loss與啟用函式--sigmiod與softmax；對數損失函式與交叉熵代價函式
sigmiod與softmax sigmiod就是邏輯迴歸（解決二分類問題）；softmax是多分類問題的邏輯迴歸 雖然邏輯迴歸能夠用於分類，不過其本質還是線性迴歸。它僅線上性迴歸的基礎上，在特徵到結果的對映中加入了一層sigmoid函式（非線性）對映，即先把特徵線性求和，然後使
深度學習基礎--loss與啟用函式--CTC（Connectionist temporal classification）的loss
CTC（Connectionist temporal classification）的loss 用在online sequence。由於需要在分類結果中新增一個{no gesture}的類別，如果用在segmented video的分類時，需要去掉這類（因為視訊總屬於某個類）。
深度學習基礎--loss與啟用函式--loss簡介
loss簡介 為了訓練我們的模型，我們首先需要定義一個指標來評估這個模型是好的。反過來想，在機器學習，我們通常定義指標來表示一個模型是壞的，這個指標稱為成本（cost）或損失（loss），然後儘量最小化這個指標。但是，這兩種方式是相同的。 常見的損失函式
深度學習基礎--loss與啟用函式--triplet loss
triplet loss triplet是一個三元組，這個三元組是這樣構成的：從訓練資料集中隨機選一個樣本，該樣本稱為Anchor，然後再隨機選取一個和Anchor (記為x_a)屬於同一類的樣本和不同類的樣本,這兩個樣本對應的稱為Positive (記為x
深度學習基礎--loss與啟用函式--Total variation loss
Total variation loss/total variation regularization/Total variation denoising 參考資料：https://en.wikipedia.org/wiki/Total_variation_
深度學習基礎--傳統機器學習與深度學習的區別
傳統機器學習與深度學習的區別 1）傳統機器學習：利用特徵工程 (feature engineering)，人為對資料進行提煉清洗 2）深度學習：利用表示學習 (representation learning)，機器學習模型自身對資料進行提煉，不需要選擇特徵、壓縮維度、轉換格式等對
深度學習基礎--正則化與norm--區域性響應歸一化層(Local Response Normalization, LRN)
區域性響應歸一化層(Local Response Normalization, LRN) 區域性響應歸一化層完成一種“臨近抑制”操作，對區域性輸入區域進行歸一化。 該層實際上證明已經沒啥用了，一般也不用了。 參考資料：見郵件 公式與計算 該層需要的引數包括：
深度學習基礎--正則化與norm--Ln正則化綜述
L1正則化 L1範數是指向量中各個元素的絕對值之和。 對於人臉任務 原版的人臉畫素是 64*64，顯然偏低，但要提高人臉清晰度，並不能僅靠提高圖片的解析度，還應該在訓練方法和損失函式上下功夫。眾所周知，簡單的 L1Loss 是有數學上的均值性的，會導致模糊。
深度學習基礎--正則化與norm--L1範數與L2範數的聯絡
L1範數與L2範數的聯絡 假設需要求解的目標函式為：E(x) = f(x) + r(x) 其中f(x)為損失函式，用來評價模型訓練損失，必須是任意的可微凸函式，r(x)為規範化約束因子，用來對模型進行限制。 根據模型引數的概率分佈不同，r(x)一般有: 1）L1正規化
深度學習基礎--正則化與norm--正則化(Regularization)
正則化(Regularization) 一種防止過擬合，提高泛化能力的技巧，因此演算法正則化的研究成為機器學習中主要的研究主題。此外，正則化還是訓練引數數量大於訓練資料集的深度學習模型的關鍵步驟。 正則化可以避免演算法過擬合，過擬合通常發生在演算法學習的輸入資料無法反應真實的分佈
深度學習基礎--正則化與norm--正則化技術
正則化技術 一種防止過擬合，提高泛化能力的技巧，因此演算法正則化的研究成為機器學習中主要的研究主題。此外，正則化還是訓練引數數量大於訓練資料集的深度學習模型的關鍵步驟。 正則化可以避免演算法過擬合，過擬合通常發生在演算法學習的輸入資料無法反應真實的分佈且存在一些噪聲的情況。
深度學習基礎系列（五）| 深入理解交叉熵函式及其在tensorflow和keras中的實現
在統計學中，損失函式是一種衡量損失和錯誤（這種損失與“錯誤地”估計有關，如費用或者裝置的損失）程度的函式。假設某樣本的實際輸出為a，而預計的輸出為y，則y與a之間存在偏差，深度學習的目的即是通過不斷地訓練迭代，使得a越來越接近y，即 a - y →0，而訓練的本質就是尋找損失函式最小值的過程。 常見的
【深度學習基礎5】深度神經網路的優化與調參(2)
轉載請註明出處。謝謝。 本博文根據 coursera 吳恩達 Improving Deep Neural Networks: Hyperparameter tuning, Regularizati
深度學習筆記——理論與推導之概念，成本函式與梯度下降演算法初識（一）
前情提要 一、神經網路介紹 概念：Learning ≈ Looking for a Function 框架（Framework）： What is Deep Learning? 深度學習其實就是一個定義方法、判斷方法優劣、挑選最佳的方法的過程：