課程筆記

演算法將一幅圖片分為內容+風格，有了這兩像，圖片也就確定了，所以”生成圖片主要的思想，通過兩個損失函式（內容損失+風格損失）來進行迭代更新”

遷移學習總體分為三步:

• 建立內容損失函式 Jcontent(C,G)$J_{content}(C,G)$
• 建立風格損失函式 Jstyle(S,G)$J_{style}(S,G)$
• 加權組合起來，即總體損失函式 J(G)=αJcontent(C,G)+βJstyle(S,G)$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$.

CNN是對輸入的圖片進行處理的神經網路，一般有卷積層、池化層、全連線層，每一層都是對圖片進行畫素級的運算。圖片以矩陣的形式輸入神經網路，在經過每一層時的輸出依然時矩陣，把這個矩陣反轉回去得到的影象，就是這一層對圖片進行處理後得到的影象。

一個神經網路，前面幾層（淺層）一般檢測圖片的基礎特徵，例如邊緣和結構；後面幾層（深層）一般檢測圖片的綜合特徵，例如具體的類別。

內容損失函式

我們希望“生成的”影象G具有與輸入影象C相似的內容。但是選擇神經網路的哪些層的輸出來表示圖片的內容呢，作業中使用了中間的層， 既不太淺也不太深，可以取得好的效果。 （完成此練習後，請隨時返回並嘗試使用不同的圖層，以檢視結果的變化。）

使用已經訓練過的網路 VGG，輸出層輸入影象為C，經過VGG網路前向傳播，得到 [l]$[l]$ 層輸出為 a[l](C)$a^{[l](C)}$，這裡用 a(C)$a^{(C)}$ 表示；同時生成一張白噪聲的圖片G，重複同樣的操作得到

a(G)$a^{(G)}$，從而可以得到內容損失函式：

Jcontent(C,G)=14×nH×nW×nC∑all entries(a(C)−a(G))2(1)$$\begin{array}{}\text{(1)}& J_{content}(C,G)=\frac{1}{4\times n_H\times n_W\times n_C}\sum _{\text{all entries}}(a^{(C)}-a^{(G)}{)}^2\end{array}$$

nH,nW$n_H,n_W$ and nC$n_C$ 時指定神經網路層的輸出矩陣，這裡為了方便計算，做舉證展開（Unrolled），如下圖：

What you should remember:
- The content cost takes a hidden layer activation of the neural network, and measures how different

a(C)$a^{(C)}$ and a(G)$a^{(G)}$ are.
- When we minimize the content cost later, this will help make sure G$G$ has similar content as C$C$.

風格損失函式

上面的內容矩陣是直接採用指定層的輸出矩陣，而風格矩陣在這裡用 “Gram matrix.” 表示，也叫相關矩陣，如下圖：

計算Gram Matrix首先對矩陣進行展開（Unrolled），隨後再進行矩陣轉置，矩陣點乘。

線上性代數中， Gram matrix表示的是矩陣中不同向量之間的相關性， G 的向量是做如下運算得到的：

Gij=vTivj=np.dot(vi,vj)$${\displaystyle G_{ij}=v_i^T{v}_j=np.dot(v_i,v_j)}$$ .
矩陣對角線上的元素是 向量內積；非對角線元素是 兩兩不同向量內積，值的大小可以反應這兩個不同向量的相關性，值越大，相關性越大。

在神經網路中，上述的進過 Unrolled 矩陣的不同向量代表同一層不同濾波器的輸出，所以 Gram Matrix 對角線上的元素 Gii$G_{ii}$ 衡量該濾波器檢測的特徵值在圖片中所佔的比例；例如，di i$i$ 層卷積檢測垂直結構，則 Gii$G_{ii}$ 可以衡量該圖片中垂直結構所佔比例的大小。而 Gij$G_{ij}$ 衡量不同濾波器的相似程度。筆者認為風格函式的主要貢獻在 Gram Matrix 對角線。

在有了 Gram Matrix 以後，風格損失函式定義如下：

J[l]style(S,

相關推薦

《深度學習——Andrew Ng》第四課第四周程式設計作業_2_神經網路風格遷移

課程筆記 演算法將一幅圖片分為內容+風格，有了這兩像，圖片也就確定了，所以”生成圖片主要的思想，通過兩個損失函式（內容損失+風格損失）來進行迭代更新” 遷移學習總體分為三步: 建立內容損失函式 Jcontent(C,G)Jcontent(C,G)

《深度學習——Andrew Ng》第一課第二週程式設計作業

最近在網易雲課堂學習《深度學習》微專業，將課後的程式設計作業記錄下來。 Logistic Regression with a Neural Network mindset Welcome to your first (required) pr

《深度學習——Andrew Ng》第一課第四周程式設計作業

Building your Deep Neural Network: Step by Step 3.2 - L-layer Neural Network The initialization for a deeper L-layer neural

《深度學習——Andrew Ng》第四課第二週程式設計作業

深度學習第四課是 卷積神經網路 ，共四周內容： 第一週 卷積神經網路（卷積的含義，各個層的功能，如何計算資料在不同層的大小（shape）） 第二週 深度卷積網路：例項探究（LeNet5、ResNet50等經典神經網路，遷移學習，資料擴充） 第三週

deeplearning.ai 第四課第一週， 卷積神經網路的tensorflow實現

1、載入需要模組和函式： import math import numpy as np import h5py import matplotlib.pyplot as plt import scipy from PIL import Image from

deeplearning.ai第四課第一週：卷積神經網路

1 計算機視覺 計算機視覺包含的典型任務有： 影象分類； 目標檢測； 影象風格轉換。 計算機視覺任務的特點是輸入資料量較大，對於一副1000 * 1000 * 3的影象而言，需要的輸入神經元數量為3百萬。假如第一隱藏層有1000個神經元，那麼

deeplearning.ai 第四課第二週 resnet 50層神經網路實現

1、匯入函式庫: import numpy as np from keras import layers from keras.layers import Input, Add, Dense, Activation, ZeroPadding2D, Batc

《深度學習——Andrew Ng》第四課第三週程式設計作業

第三週的課程是目標檢測 ，程式設計作業是以yolo網路為主。程式設計作業的主要部分是對yolo網路輸出進行 anchor boxes過濾、IOU過濾、非極大抑制處理。 理論知識 交併比（Intersection-over-Union，IoU），目標檢測中使

Ng深度學習課程-第四課第三週筆記摘要

目標檢測 目標定位                             &n

Ng深度學習課程-第四課第四周筆記摘要

人臉識別 One-Shot 學習 Siamese 網路 Triplet 損失 人臉驗證與二分類 風格遷移的代價函式

《深度學習——Andrew Ng》第五課第一週程式設計作業_2_dinosaurus island

第二課的作業是給恐龍起名，訓練集是一系列恐龍的名字，經過訓練後，RNN網路可以生成新的恐龍的名字，隨著訓練次數的迭代，可以發現得到的名字越來越像是正常的恐龍名字。 這裡有兩點需要注意一下： 使用的模型RNN 圖中的每個cell都把計算流程標清楚了

《深度學習——Andrew Ng》第五課第三週程式設計作業_2_Trigger+word+detection

Set the random seed np.random.seed(18) # Make background quieter background = background - 20 ### START CODE HERE ### # Step 1: Initi

《深度學習——Andrew Ng》第五課第三週程式設計作業_1_Machine Translation

pycharm版 from keras.layers import Bidirectional, Concatenate, Permute, Dot, Input, LSTM, Multiply from keras.layers import RepeatV

吳恩達《深度學習》第四課第三週

卷積神經網路——目標檢測 3.1目標定位 1.分類與定位 分類問題可以有助於定位問題的解決，當識別完圖片型別之後我們可以讓神經網路的輸出增加幾個單元，從而輸出一個邊界框(bounding box)，具體而言就是多輸出4個數字（b_x, b_y, b_h, b_w）,在這

吳恩達深度學習：基於Matlab完成卷積神經網路第四課第一週程式設計任務

          這兩三個月通過吳恩達老師的課程學習了深度學習，從零開始學理論，做程式設計任務。感覺學了很多知識。現在學到卷積神經網路，想把第一週的程式設計任務、其中的要點上傳和編寫，方便自己以後鞏固。（注：吳恩達老師課程的程式設計任務是用Python來完成的，而我是用ma

深度學習第四課第三週

Object Detection 1.Object localization 以前的分類問題經過softmax後輸出其屬於哪一類即可，對於目標定位，經過softmax後還得多輸出其位置資訊。

吳恩達《深度學習》第四課第四周

卷積神經網路——人臉識別與神經風格轉換 4.1什麼是人臉識別？  1.人臉驗證與人臉識別 驗證：輸入為影象、名字、ID等，輸出為輸入的影象與其宣告的是否是同一人； 識別：輸入為影象，輸出為該影象是否為資料庫中的影象之一，如果是給出ID。 2.人臉識別較人臉驗證更困難

Operations on word vectors-v2 吳恩達老師深度學習課程第五課第二週程式設計作業1

吳恩達老師深度學習課程第五課（RNN）第二週程式設計作業1， 包含答案 Operations on word vectors Welcome to your first assignment of this week! Because word embe

深度學習-吳恩達第一課第四周課程作業

在前面兩節課的基礎上，這次作業是訓練一個N層神經網路，來判斷一張圖片是否有貓，實現過程其實和第三週很相似，因為層數不確定，所以在向前傳播和反向傳播的時候會用到for迴圈，程式碼相對而言反而更精簡了。貼出的程式碼可能和老師給的模板不一樣，我沒有看到老師的原版課程作業，也是在網上

v2 吳恩達老師深度學習第五課第二週程式設計作業2

吳恩達老師深度學習第五課第二週程式設計作業2，包含答案！ Emojify! Welcome to the second assignment of Week 2. You are going to use word vector representation