ICLR19最新論文解讀之Meta Domain Adaptation
本文轉自公眾號：FloodSung的AI遊樂場
今天Flood和大家分享的是ICLR19最新的投稿文章《Meta Domain Adaptation:Meta-Learning For Few-Shot Learning Under Domain Shift》。
這篇文章做了什麼事情呢？
就是給目前的Few-Shot Learning加點困難，讓Meta-Train和Meta-Test的影象Domain不一樣：
不過一開始在我看到這篇論文的標題時，我以為的Meta Domain Adaptation不是這樣的設定。
我們先來看一下Meta Learning的基本組成：
在之前的博文中，我們更多的是關注Task裡面Train和Test的不一樣。比如上一篇博文講無監督Meta Learning，就是Train是無監督學習，而Test是有監督學習。所以我初看標題以為這篇文章的設定是Task裡面的Train和Test是不同domain，然而實際上是Task裡面的Train和Test都是一樣的domain，但是Meta-training和Meta-Testing的domain是不一樣的。
這樣也能做嗎？按照標準Meta-Learning設定，這意味著我們在Meta-Training階段對於Meta-Testing階段的domain是一無所知的，這怎麼adapt？所以這篇論文裡的實現方法就直接在Meta-Training階段使用了Meta-Testing階段的資料，只不過是無監督的資料。
在分析方法之前我們先看看這篇論文的動機。論文中反覆說現實情況下可能Meta-Testing Domain的資料是很少的，所以我們可以使用Domain資料多的做Meta-Training，然後Adapt到這個Domain資料少的上面。但是這個動機卻和實際論文方法實現相違背，方法中並沒有限制Meta-Testing Domain資料的使用。所以這篇文章動機有點問題。
下面我們來說說方法論。一句話說明就是簡單粗暴的把Domain Adaptation的方法和Meta Learning的方法結合一下：
解釋一下：作者還是考慮把Meta-Training裡面的影象先能通過G轉換為Meta-Testing裡面的影象Domain，然後再做Meta Learning。而前面這部分轉換工作就是完全的Domain Adaptation的方法，通過GAN來訓練，所以這裡不得不使用了Meta-Testing裡面的資料，其實在我看來這個做法違背了Meta Learning的基本設定，意味你已經看到了Meta-Testing的資料，即使是無監督的，那也可以認為是Cheating了。然後作者額外的加了一個G'來反過來生成Meta-Training的影象Domain，然後加了一個與現有影象的對比作為Cycle Consistency Loss。這是GAN裡面的常用操作。
然後論文裡直接和完全沒有domain adaptation的MAML和Prototypical Network做對比，這是完全不公平的，顯然比不過。
從Reviewer的角度看，這篇論文的方法和動機有矛盾，並且在方法上直接在Meta-Training上使用了Meta-Testing的資料，這是不合理的。所以這篇論文的評價在我這裡並不高。
那麼，我們接著思考一下，是不是Task裡面的Train和Test Domain不一樣更合理呢？這樣的問題設定就是說我們希望這個影象識別系統看到一個新物體比如說一隻貓之後，不僅僅能識別照片的貓，還能識別卡通化的貓，或者油畫的貓，那麼這就意味著我們讓這個影象識別系統自己學習了Domain Adaptation，能夠更好的提取影象的有用特徵。或許這是更好的問題，值得研究！