最近在學習CS20課程——一門講述tensorflow應用的實踐性課程，正好Assignment2講到了Style Transfer這個東西，這裡把我的理解總結一下（程式碼基於Tensorflow）。

簡介

這是一個使用兩個圖片（以A和B表示）作為輸入（圖A作為內容輸入(content input)，圖B作為風格輸入（style input）。最終的目的是得到一張具有圖B的風格和圖A的內容的影象。

• style picture
  
• content picture
  

• what we got
  

  用一個簡單的方程可以表示為：style + content = picture of highly abstracted

步驟簡述

• 使用一個訓練好的CNN結構（一般來說做Image classification的就可以，比如VGG, GoogLeNet等等）
• 我們要有一個概念：CNN中低層特徵圖保留的內容比較多，而高層更多的是紋理，正是利用這一點，我們將組合內容資訊和紋理資訊並將兩者相結合得到一個全新的圖片。

• 對content和style分別定義損失函式，並將其組合起來作為整個結構的Loss function。

• 值得注意的是，我們輸入時候使用的結構使用的是一樣的結構（無論是style pic、content pic還是trianable input），為了避免重複的子計算圖裝配(To save us from having to assemble the same subgraph multiple times, we will use one variable for all three of them.

  )，需要使用tf.variable_scope(‘input’)。
  

• 跟之前的CNN中通過反向傳播調整網路結構引數如w和b不同的是，這裡的目標是對一個輸入的content pic加入白噪聲後的圖片進行不斷調整，給其加入內容和紋理資訊。

損失函式說明

Ltotal(p→,a→,x→)=αLcontent(p→,x→)+βLstyle(a→,x→)$$L_{total}(\overrightarrow{p},\overrightarrow{a},\overrightarrow{x})=\alpha L_{content}(\overrightarrow{p},\overrightarrow{x})+\beta L_{style}(\overrightarrow{a},\overrightarrow{x})$$

其中α和β是權重，論文指出α/β=0.001或者0.0001，這個比例是根據內容和風格的比例來調整的，當你想要風格更濃烈，就提高α/β的值，反之則降低α/β。

1. content loss

content loss比較容易理解，論文裡定義如下：

Lcontent(p→,x→,l)=12∑i,j(Fli,j−Pli,j)2$$L_{content}(\overrightarrow{p},\overrightarrow{x},l)=\frac{1}{2}\sum _{i,j}(F_{i,j}^l-P_{i,j}^l{)}^2$$

假設某一層l$l$得到的響應是

Fl∈RNl∗Ml$$F^l\in R^{N^l\ast M^l}$$其中Nl$N^l$為l層filter的個數，Ml$M^l$為filter的大小(height∗width$height\ast width$)。Fli,j$F_{i,j}^l$表示的是第l$l$層第i$i$個filter在位置j$j$的輸出。

這裡的Fli,j$F_{i,j}^l$是層l$l$生成影象的特徵表示(content representation of the generated image)，Pli,j$P_{i,j}^l$是層l$l$內容影象的特徵表示(content representation of the content image)。實際上就是關於F$F$和P$P$的均方誤差。論文中建議使用的layer是conv4_2。

下面翻譯自CS20 Assignment2 的note

然而在實踐中發現，這個content loss收斂的很慢。所以這裡可以將前面的係數1/2換成1/(4s)。s為P$P$的所有維度的乘積，比如P$P$為[5, 5, 3]。那麼s = 5*5*3=75。

2. style loss

style loss有些複雜，在論文中，它有三步計算得來。首先讓我們來看style loss的定義：

El=14N2lM2l∑i,j(Gli,j−Ali,j)2$$E_l=\frac{1}{4N_l^2{M}_l^2}\sum _{i,j}(G_{i,j}^l-A_{i,j}^l{)}^2$$
Lstyle(a→,x→)=∑l=0L

相關推薦

深度學習之風格轉換——Style Transfer

最近在學習CS20課程——一門講述tensorflow應用的實踐性課程，正好Assignment2講到了Style Transfer這個東西，這裡把我的理解總結一下（程式碼基於Tensorflow）。 簡介 這是一個使用兩個圖片（以A和B

深度學習之風格遷移（三）——Deep Photo Style Transfer(Fujun Luan)

前面已經介紹瞭如何利用神經網路進行風格遷移，參見部落格深度學習之風格遷移（一）——Neural Style(Gatys) 。該文介紹了怎麼把藝術作品的風格遷移到真實圖片中去，生成的圖片是帶有藝術色彩的繪畫作品。那麼現在給定兩個真實的圖片，一張作為風格圖片，一張作

深度學習之收斂問題

bat 模擬 訓練 gin i-o 都是 wid 分類 number http://blog.csdn.net/xlbryant/article/details/48470987 1.數據庫太小一般不會帶來不收斂的問題，只要你一直在train總會收斂（rp問題跑飛了不算）。

1.深度學習之安裝教程

步驟 install sta tensor lib64 libc 鏈接 lib flow 在centos5下安裝TensorFlow。 步驟： 1.安裝python3.5 2.安裝pip3，同時建立軟鏈接。 3.安裝TensorFlow，pip install --upgr

深度學習之tensorflow （一）

spa 計算 put range mst reduce logs 分析 pen 一、TensorFlow簡介 1.TensorFlow定義： tensor ：張量，N維數組 Flow : 流，基於數據流圖的計算 TensorFlow : 張量從圖像

深度學習之 seq2seq 進行 英文到法文的翻譯

enc super load mark ext pre res drop zeros 深度學習之 seq2seq 進行 英文到法文的翻譯 import os import torch import random source_path = "data/small

深度學習之圖片壓縮算法

深度學習、圖片壓縮近年來，深度學習在計算機視覺領域已經占據主導地位，不論是在圖像識別還是超分辨重現上，深度學習已成為圖片研究的重要技術；現在深度學習技術已進入圖片壓縮領域。以圖鴨科技最新研發的圖片壓縮——Tiny Network Graphics (TNG) 為例，其以深度學習卷積神經網絡為內核，在保持相同圖

Tensorflow深度學習之十二：基礎圖像處理之二

fcm 數字 ssi port con tty .net term file Tensorflow深度學習之十二：基礎圖像處理之二 from：https://blog.csdn.net/davincil/article/details/76598474 首先放出

深度學習 之 GRU 算法例子

深度學習 GRU 算法 例子首先下載代碼：https://github.com/whk6688/rnn 例子1：預測下文 private void train(CharText ctext, double lr) { Map<Integer, String> indexChar

深度學習之 TensorFlow（四）：卷積神經網絡

padding valid 叠代 val 分析 此外 nbsp drop BE 基礎概念： 　　卷積神經網絡（CNN）：屬於人工神經網絡的一種，它的權值共享的網絡結構顯著降低了模型的復雜度，減少了權值的數量。卷積神經網絡不像傳統的識別算法一樣，需要對數據進行特征提取和數據重

深度學習 之 DeepLearning4j 預測股市走向

深度學習 之 DeepLearning4上一篇，預測花的類型，是沒有用到中間件的，實際情況是，數據量是非常大的，所以不實用，這次使用DeepLearning4j來預測股市走向，後續加上spark。代碼如下： public class DailyData { //開盤價 private doub

機器學習&深度學習之路

線性 概率論 向量 正則 決策 下機 正則化 希望 池化 計劃最近好好按步驟按階段系統性的學習下機器學習和深度學習，希望能堅持下去。 基礎數學篇 [高等數學：求導、梯度] [高等數學：泰勒展開] [概率論：基本概念、條件概率、全概率、樸素貝葉斯] [概率論：期望、方差

深度學習之神經網絡（CNN/RNN/GAN） 算法原理+實戰

依次 正向 重要 深入 tun 機器學習算法 及其 卷積 -m 第1章 課程介紹 深度學習的導學課程，主要介紹了深度學習的應用範疇、人才需求情況和主要算法。對課程章節、課程安排、適用人群、前提條件以及學習完成後達到的程度進行了介紹，讓同學們對本課程有基本的認識。 第2章

深度學習之模型構建

water ssi sum sta eat rom col ffffff oss 標準模型 from keras.utils import plot_model from keras.models import Model from keras.layers import

深度學習之資料增強庫imgaug使用方法

在上一篇文章中，介紹了常用的資料增強的方法，並提到了實現這些方法的一個庫imgaug，這篇文章就對該庫的使用方法進行一個總結。 1 介紹 imgaug是一個用於機器學習實驗中影象增強的python庫，支援python2.7和3.4以上的版本。 它支援多種增強技術，允許輕鬆組合這些技術，具

深度學習之影象的資料增強方法彙總

參考：https://www.jianshu.com/p/99450dbdadcf 在深度學習專案中，尋找資料花費了相當多的時間。但在很多實際的專案中，我們難以找到充足的資料來完成任務。為了要保證完美地完成專案，有兩件事情需要做好：1、尋找更多的資料；2、資料增強。本篇主要描述資料增強。 有

深度學習之批量圖片資料增強

在之前的文章中，分別對資料增強的方法以及庫函式進行了介紹，本文將結合實際應用進行批量圖片的資料增強。 背景：專案採集的是灰度圖，原資料只有不到20張圖片，因此，選擇資料增強的方法，通過不同變換方法的組合，實現資料增加的百張以上，這樣才可以放入深度學習模型進行訓練（利用遷移學習）。 話不多

深度學習之卷積自編碼器

一、自編碼器 自編碼器（Autoencoder）是一種旨在將它們的輸入複製到的輸出的神經網路。他們通過將輸入壓縮成一種隱藏空間表示（latent-space representation），然後這種重構這種表示的輸出進行工作。這種網路由兩部分組成，如下圖： 編碼器：將輸入壓縮為潛在空間

深度學習之PyTorch實戰（3）——實戰手寫數字識別

　　上一節，我們已經學會了基於PyTorch深度學習框架高效，快捷的搭建一個神經網路，並對模型進行訓練和對引數進行優化的方法，接下來讓我們牛刀小試，基於PyTorch框架使用神經網路來解決一個關於手寫數字識別的計算機視覺問題，評價我們搭建的模型的標準是它是否能準確的對手寫數字圖片進行識別。 　　

對深度學習之反向傳播訓練過程的理解

深度學習中的反向傳播訓練過程，是優化權值矩陣的關鍵過程，下面記錄自己學習體會。 卷積神經網路經過前面的運算之後，在訓練的過程中，由於我們知道每一個樣本的正確結果，所以可以得到一個損失函式。這個損失函式很關鍵，反向傳播的訓練過程就是通過他來實現的。 得到損失函式之後，我們就希望損失函式的值