實戰生成對抗網路[2]：生成手寫數字

摘要： 在開始本文之前，讓我們先看看一則報道： 人民網訊 據英國廣播電視公司10月25日報道，由人工智慧創作的藝術作品以432000美元（約合300萬人民幣）的高價成功拍賣。 看起來一則不起眼的新聞，其實意義深遠，它意味著人們開始認可計算機創作的藝術價值，那些沾沾自喜認為不會被人工智慧取代的藝...

在開始本文之前，讓我們先看看一則報道：

人民網訊 據英國廣播電視公司10月25日報道，由人工智慧創作的藝術作品以432000美元（約合300萬人民幣）的高價成功拍賣。

看起來一則不起眼的新聞，其實意義深遠，它意味著人們開始認可計算機創作的藝術價值，那些沾沾自喜認為不會被人工智慧取代的藝術家也要瑟瑟發抖了。

這幅由人工智慧創作的作品長啥樣，有啥過人之處？

嗯，以我這種外行人士看來，實在不怎麼樣，但這不意味著人工智慧不行。要知道，AlphaGo初出道時，也只敢挑戰一下樊麾這樣的二流棋手，接下來挑戰頂級棋手李世石，人類還能勉力一戰，等進化到AlphaGo Master，零封人類棋手。然而這還沒有完，AlphaGo Zero不再學習人類棋譜，完全通過自學，碾壓AlphaGo Master，對付人類棋手，更如我們捏死一隻螞蟻那麼容易。

所以說，儘管人工智慧創作的第一副作品如同鬼畫桃符，但其潛力無可限量。

那麼，接下來我們會探討如何創作出一幅名畫？No. No.

創作一副畫並不是那麼容易。這幅名為《埃德蒙·貝拉米肖像》的畫作是由巴黎一個名為“顯而易見”（Obvious）的藝術團體創作利用人工智慧技術創作而成，這幅作品是用演算法和15000幅從14世紀到20世紀的肖像畫資料製作而成。

我們還沒有那個條件去創作一副人工智慧的畫作，但我們可以先從基本的著手，生成手寫數字。手寫數字對於機器學習的同學來說，太熟悉不過了。既然是老朋友了，那讓我們開始吧！

首先回顧一下《 ofollow,noindex">實戰生成對抗網路[1]：簡介 》這篇文章的內容，GAN由生成器和判別器組成。簡單起見，我們選擇簡單的二層神經網路來實現生成器和判別器。

生成器

實現生成器並不難，我們採取的全連線網路拓撲結構為：100 --> 128 --> 784，最後的輸出為784是因為MNIST資料集就是由28 x 28畫素的灰度影象組成。程式碼如下：

G_W1 = tf.Variable(initializer([100, 128]), name='G_W1')
G_b1 = tf.Variable(tf.zeros(shape=[128]), name='G_b1')
G_W2 = tf.Variable(initializer([128, 784]), name='G_W2')
G_b2 = tf.Variable(tf.zeros(shape=[784]), name='G_b2')
theta_G = [G_W1, G_W2, G_b1, G_b2]

def generator(z):
G_h1 = tf.nn.relu(tf.matmul(z, G_W1) + G_b1)
G_log_prob = tf.matmul(G_h1, G_W2) + G_b2
G_prob = tf.nn.sigmoid(G_log_prob)

return G_prob
複製程式碼

判別器

判別器正好相反，以MNIST影象作為輸入並返回一個代表真實影象的概率的標量，程式碼如下：

D_W1 = tf.Variable(initializer(shape=[784, 128]), name='D_W1')
D_b1 = tf.Variable(tf.zeros(shape=[128]), name='D_b1')
D_W2 = tf.Variable(initializer(shape=[128, 1]), name='D_W2')
D_b2 = tf.Variable(tf.zeros(shape=[1]), name="D_W2")
theta_D = [D_W1, D_W2, D_b1, D_b2]

def discriminator(x):
D_h1 = tf.nn.relu(tf.matmul(x, D_W1) + D_b1)
D_logit = tf.matmul(D_h1, D_W2) + D_b2
D_prob = tf.nn.sigmoid(D_logit)

return D_prob, D_logit
複製程式碼

訓練演算法

在論文 arXiv: 1406.2661, 2014 中給出了訓練演算法的虛擬碼：

TensorFlow中的優化器只能做最小化，因為為了最大化損失函式，我們在虛擬碼給出的損失函式前加上一個負號。

D_loss = -tf.reduce_mean(tf.log(D_real) + tf.log(1. - D_fake))
G_loss = -tf.reduce_mean(tf.log(D_fake))
複製程式碼

接下來定義優化器：

# 僅更新D(X)的引數, var_list=theta_D
D_solver = tf.train.AdamOptimizer().minimize(D_loss, var_list=theta_D)
# 僅更新G(X)的引數, var_list=theta_G
G_solver = tf.train.AdamOptimizer().minimize(G_loss, var_list=theta_G)
複製程式碼

最後進行迭代，更新引數：

for it in range(60000):
X_mb, _ = mnist.train.next_batch(mb_size)

_, D_loss_curr = sess.run([D_solver, D_loss], feed_dict={X: X_mb, Z: sample_Z(mb_size, Z_dim)})
_, G_loss_curr = sess.run([G_solver, G_loss], feed_dict={Z: sample_Z(mb_size, Z_dim)})
複製程式碼

整個流程下來，其實和之前的深度學習演算法差不多，非常容易理解。演算法是不是有效果呢？我們可以將迭代過程中生成的手寫數字顯示出來：

嗯，結果雖然有點差強人意，但差不多是手寫數字的字形，而且隨著迭代，越來越接近手寫數字，可以說GAN演算法還是有效的。

小結

一個簡單的GAN網路就這麼幾行程式碼就能搞定，看樣子生成一副畫也沒有什麼難的。先不要這麼樂觀，其實，GAN網路中的坑還是不少，比如在迭代過程中，就出現過如下提示：

Iter: 9000
D loss: nan
G_loss: nan
複製程式碼

從程式碼中我們可以看出，GAN網路依然採用的梯度下降法來迭代求解引數。梯度下降的啟動會選擇一個減小所定義問題損失的方向，但是我們並沒有一個辦法來確保利用GAN網路可以進入納什均衡的狀態，這是一個高維度的非凸優化目標。網路試圖在接下來的步驟中最小化非凸優化目標，最終有可能導致進入振盪而不是收斂到底層正式目標。

另外還有模型坍塌、計數、角度以及全域性結構方面的問題，要解決這些問題，需要使用一些特殊的技巧和方法，後面我們深入各種GAN模型時將會探討。

本文完整的程式碼請參考: github.com/mogoweb/aie…