來自Ashish Shrivastava 1 等人的文章“Learning from Simulated and Unsupervised Images through Adversarial Training”。

摘要

無需昂貴的標註，用合成影象更容易訓練模型。但因合成影象分佈與真實影象分佈的差異，用合成影象學習效果不理想。因此提出：

• “模擬+無監督”（S+U）學習：保留模擬器給出的標註資訊的同時，用無標籤的真實資料來提高模擬器（simulator）輸出的真實度。
• S+U學習方法：對抗網路的輸入為合成影象，而非隨機向量。改動標準GAN來保留標註，避免合成現象（artifacts）和穩定訓練：（i）“自正則”項，（ii）區域性的對抗損失，和（iii）用細化影象（refined images）的歷史來更新判別器。
• 泛化至真實影象：定性和使用者研究來表明生成影象的逼真。訓練模型來估計注視和手部姿態，定量評估生成的影象。

1. 簡介

標註大資料集昂貴耗時，但可自動獲得合成數據的標註。用合成數據已解決Kinect的手部姿態估計及最近一些其它任務。
而學習合成影象會有問題：合成影象與真實影象的差異—合成數據通常不夠真實，使網路僅學到合成影象的細節，卻難以泛化至真實影象。
解決方案之一為改善模擬器，而增加真實度計算昂貴，設計渲染器的工作量很大，且頂級渲染器仍可能難以建模真實影象的所有特徵。這可能會使模型在合成影象中“不真實”的細節上過擬合。

• S+U學習應保留訓練機器學習模型的標註資訊，如保留圖1
  中的注視方向。

• S+U學習方法（SimGAN）用一細化網路（“refiner network”）細化合成影象，概述見圖 2，合成影象由黑箱模擬器生成，並經細化網路細化。（i）為增加真實度，類似GANs訓練對抗網路，用正則損失，使判別網路無法區分細化的生成影象與真實影象。（ii）為保留合成影象的標註，為對抗損失補充自正則損失，來懲罰合成影象與真實影象間的巨大改變。進一步用一全卷積網路操作畫素並保留全域性結構（而非如全連線編碼網路那樣去完全改變影象內容）。（iii）GAN框架用競爭的目標來訓練2個網路，使網路不穩定且易引入合成現象。因此限制判別器的感受野至區域性區域（而非整幅影象），使每幅圖有多個區域性的對抗損失。並用細化影象的歷史（而非當前細化網路輸出的細化影象）更新判別器來穩定訓練。

2. 使用SimGAN的S+U學習

S+U學習是為用無標籤的真實影象yi∈Y來學習細化合成影象x的細化器Rθ(x)，θ為細化器的引數。x~表示細化影象，有：

x~:=Rθ(x)
S+U學習要求保留模擬器的標註資訊的同時，細化影象x~應看起來接近真實影象。
至此，結合2個損失後最小化來學習θ：
LR(θ)=∑ilreal(θ;x~i,Y)+λlreg(θ;x~i,xi).(1)
其中，xi為第i幅合成的訓練影象，x~i為第i幅細化影象。第1部分損失lreal增加了合成影象的逼真度，而第2部分損失lreg通過最小化合成影象與細化影象間的差異來保留標註資訊。

2.1 關於自正則（Self-Regularization）的對抗損失

理想的細化器會使其輸出影象難以判別真假。因此，訓練對抗判別網路Dϕ來分類影象的真假，其中ϕ為判別網路的引數。訓練細化網路R的對抗損失來“愚弄”網路D判斷影象真假。使用GAN方法為1個雙玩家的最小最大遊戲，並交替更新細化網路Rθ和判別網路Dϕ。
最小化如下損失來更新判別網路的引數：

LD(ϕ)=−∑ilog(Dϕ(x~i))−∑jlog(1−Dϕ(yj)).(2)

希望判別器可判別真實影象不為合成影象：Dϕ(yi)↓,1−Dϕ(yi)↑,−∑jlog(1−Dϕ(yj))↓；
希望判別器可判別細化影象為合成影象：Dϕ(x~i)↑,−∑ilog(Dϕ(x~i))↓。

它等價於二分類問題的交叉熵，其中Dϕ(.)為輸入合成影象的概率，則1−Dϕ(.)為輸入真實影象的概率。Dϕ用卷積網路，網路的最後一層輸出樣本為細化影象的概率。訓練該判別網路時，每個小塊（minibatch）包含隨機取樣的細化的合成影象x~′is和真實影象y′js。每個y

相關推薦

對抗的訓練來從模擬和無監督影象中學習

來自Ashish Shrivastava 1 等人的文章“Learning from Simulated and Unsupervised Images through Adversarial Training”。 摘要 無需昂貴的標註，用合成影

Deep learning系列（十五）有監督和無監督訓練

1. 前言 在學習深度學習的過程中，主要參考了四份資料： 對比過這幾份資料，突然間產生一個困惑：臺大和Andrew的教程中用了很大的篇幅介紹了無監督的自編碼神經網路，但在Li feifei的教程和caffe的實現中幾乎沒有涉及。當時一直搞不清這種現象的原

ml入門系列三監督學習和無監督學習

tex tin swa core logging eba webapi handle 5% %E6%9C%89%E5%85%B3handler%E7%94%A8%E6%B3%95%E6%B1%82%E5%8A%A9%E5%95%8A aspnetcoremvc?????÷

有監督學習和無監督學習

得到 機器學習 事先 分辨 是什麽 輸入數據 評價 一個 style 機器學習的常用方法，主要分為有監督學習(supervised learning)和無監督學習(unsupervised learning)。 　　監督學習，就是人們常說的分類，通過已有的訓練樣本（即已

有監督學習和無監督學習的簡單理解

文章轉載自：http://blog.sina.com.cn/s/blog_4d7c97a00102w958.html 有監督學習和無監督學習的區別是什麼？        這個問題可以回答得很簡單：是否有監督（supe

【GAN ZOO閱讀系列】NONSUPERVISED REPRESENTATION LEARNING WITH DCGAN 使用深度卷積生成對抗網路的無監督的表示學習

Alec Radford & Luke Metz indico Research Boston, MA {alec,luke}@indico.io Soumith Chintala Facebook AI Research New York, NY [e

有監督學習和無監督學習的區別

機器學習的常用方法，主要分為有監督學習(supervised learning)和無監督學習(unsupervised learning)。監督學習，就是人們常說的分類，通過已有的訓練樣本（即已知資料以及其對應的輸出）去訓練得到一個最優模型（這個模型屬於某個函式的集合，最優則

【GAN ZOO閱讀系列】UNSUPERVISED REPRESENTATION LEARNING WITH DCGAN 使用深度卷積生成對抗網路的無監督的表示學習

Alec Radford & Luke Metz indico Research Boston, MA {alec,luke}@indico.io Soumith Chintala

監督學習和無監督學習區別

前言 機器學習分為：監督學習，無監督學習，半監督學習（也可以用hinton所說的強化學習）等。 在這裡，主要理解一下監督學習和無監督學習。 監督學習（supervised learning） 從給定的訓練資料集中學習出一個函式（模型引數），當新的資料到來時，可以根據這個函式預測結果。監督學習的訓練集要求包

大資料12_SparkMLlib監督學習和無監督學習區別

         那麼，什麼時候應該採用監督學習，什麼時候應該採用非監督學習呢？我也是從一次面試的過程中被問到這個問題以後才開始認真地考慮答案。一種非常簡單的回答就是從定義入手，如果我們在分類的過程中有訓練樣本(training data)，則可以考慮用監督學習的方法；如果沒有訓練樣本，則不可能用監督學習的方

監督學習和無監督學習

        機器學習的常用方法，主要分為有監督學習(supervised learning)和無監督學習(unsupervised learning)。監督學習，就是人們常說的分類，通過已有的訓練樣本（即已知資料以及其對應的輸出）去訓練得到一個最優模型（這個模型屬於某個

機器學習之監督和無監督學習

這篇文章對吳恩達博士機器學習公開課中關於監督和無監督學習做了整理，以供學習。 一、監督學習（Supervised Learning） 首先課程中講解了一個關於房屋價格預測的例子。 例1）預測房屋價格 根據實際的房屋價格和麵積，我們已知了一定規模的資料集，如下圖中紅

機器學習兩種方法——監督學習和無監督學習（通俗理解）

前言 機器學習分為：監督學習，無監督學習，半監督學習（也可以用hinton所說的強化學習）等。 在這裡，主要理解一下監督學習和無監督學習。 監督學習（supervised learning） 從給定的訓練資料集中學習出一個函式（模型引數），當新的資料到來時，可以根據這個函式

吳恩達機器學習 學習筆記 之 一 監督學習和無監督學習

一、  1-1 welcome 1-2 什麼是機器學習——Machine Learning 機器學習尚無明確定義，現有的定義有： （1）Field of study that gives computers the ability to learn about being

【平價資料】SimGAN：活用合成數據和無監督資料

Shrivastava, Ashish, et al. “Learning from simulated and unsupervised images through adversarial training.” IEEE Conference on C

監督學習和無監督學習的詳細介紹

l         學習對映函式及在行為識別/影象分類中應用的文獻（模型與非模型之間存在關聯，演算法相互採用，沒有明確的區分，含仿生學文獻） % 研究重點放到ICA模型及深度學習兼顧稀疏編碼 1）稀疏編碼（稀疏編碼、自動編碼、遞迴編碼）： [1] B. Olshau

機器學習之監督學習和無監督學習

監督學習：你知道要分成哪幾類（有標籤的訓練資料）通過訓練樣本 得到最優模型 有新資料來臨時 根據最優模型得到資料所屬型別 監督學習分為兩大類： 迴歸：定量輸出，輸入變數與輸出變數均為連續變數的預測問題

機器學習筆記（1）監督學習和無監督學習

結果 關系 不同 情況 屬於 預測 數據 自己 復雜 監督學習 監督學習是指我們給予算法一個數據集，這個數據集可以是以往相同類型問題的結果，或者絕對正確的經驗答案的集合，也就是統計中常說的樣本，並且這些數據都是有其固有的“正確答案”，然後算法根據這個集合做出對當前相同類型的

【習題集三】學習理論和無監督學習

1. 一致收斂和模型選擇 Uniform Convergence and Model Selection 在這一問題中，我們希望得到使用模型選擇模型誤差的上界。 考慮一個二分模型，即y的值只可能為0或者1，並假設我們有k個有限假設集，分別為H1⊆H2⊆...⊆Hk，給定一個

機器學習(1)監督學習和無監督學習

監督學習：根據已有的資料集，我們知道輸入和輸出結果之間的關係。根據這種已知的關係，訓練得到一個最優的模型。監督學習主要分為分類問題和迴歸問題。  分類問題：輸出結果是有限個結果，比如結果集為T={A，B，C}。 迴歸問題：更像是一個連續的函式y=f(x),根據你的輸入x，得