1. 程式人生 > >研究生學習與生活(七)

研究生學習與生活(七)

  今天是週日,進博會的第一天。然而這與我沒有很大關係,早上起來看了一會兒最優化方法,然後是去開組會。這是我開這麼多次會議以來最開心的一次了,因為發揮了一下自己的作用,並且與老師同學們進行了交流。原來科研也可以不那麼無趣,甚至給大家傳授知識的時候也是超開心的。這周是gap周,主要是放鬆以及做好自己的定位,還有一個就是準備期中的考試。所以,下週計劃就是週一到週四以準備考試為主,看同濟那邊的論文為輔,週五開始自己用tensorflow試著實現一個簡單的gan網路,並且繼續看論文找方向,多與老師和同學進行溝通交流。

  今天和祺祺聊了一下,他現在做的事3D語義這塊,很棒啊。還問了他要怎麼學習“深度學習”。他說:“其實深度學習或者別的網路也好,就像搭積木一樣,你看別人怎麼搭,然後模仿著做。”其實學習也一樣,輸入的時候就是先看別人怎麼做,然後自己在模仿別人怎麼做,模仿是學習過程中非常重要的能力。其次,在學習的過程中還有一個非常重要的輸出能力就是向小朋友說解釋清楚一件事,什麼意思呢?就是用最簡單的語言把你想要表達的將給小朋友聽,聽懂了,你便也是真正理解透徹了。其實,這就是傳說中的“費曼學習法”。

  今天安排什麼的都講完了,談談我對gan的一些理解吧。

 

  相信只要是瞭解一點點GAN的同學對這個目標函式都不陌生吧。D是判別器,G是生成器,我們的目標是最大化判別器,最小化生成器。這就好比造假,判別器用來判斷這個東西是生成器造出來的還是它本來就是真的。在這樣不斷判別與造假中我們判別的能力在提升,同時造假的能力也在提升,在這個相互博弈的過程中不斷優化生成器,使之與真實值不斷接近,達到以假亂真的效果。訓練GAN網路時,我們採取分而治之的發放,先訓練k步判別器,然後在訓練1步生成器,並且在訓練時另一個保持不變。

引用原文的一張圖來輔助大家理解,如上圖所示,黑色的曲線時真實資料的分佈,綠色的曲線是生成器生成的資料的分佈,藍色的曲線代表判別器判別的結果。圖b表示訓練判別器,生成器不動;圖c表示訓練生成器,判別器不動,最後到達圖d生成器以假亂真的結果。

  接下來我們思考一個問題:如果一開始判別器就已經非常好了,你給啥它都可以判別出來,那麼你給它一堆垃圾,它也分分鐘別你判別出來,然後如此反覆就會到達一個兩難的局面,判別器已經很好了,沒有辦法優化生成器,就起不到我們要優化生成器的效果了。那麼這樣我們該怎麼辦呢?答案可以在WGAN中尋找。

  好啦,今天就到這裡啦,只是小試牛刀的和大家講講GAN,沒有那麼深入,也不是那麼易懂,但是,那又有什麼關係呢,下一篇一定會更精彩,我是在一點點進步呀。