在tensorflow下構建二層神經網路和三層神經網路解決10分類任務對比
阿新 • • 發佈：2019-02-10
繼剛才的邏輯迴歸解決的十分類任務意猶未盡，分別設計了二層和三層的神經網路對比解決這個10分類問題
下面畫一個草圖代表三層神經網路的計算圖：
import numpy as np import tensorflow as tf import matplotlib.pyplot as plt import input_data mnist = input_data.read_data_sets('data/', one_hot=True) # NETWORK TOPOLOGIES n_hidden_1 = 256 #第一層256個神經元 n_hidden_2 = 128 #第二層128個神經元 n_hidden_3 =64 #第三層64個神經元 n_input = 784 #n*784,其實就是一個28*28的灰度圖 n_classes = 10 #最後輸出的10個數字的得分 # INPUTS AND OUTPUTS x = tf.placeholder("float", [None, n_input])#跟之前的一樣，現在會話層佔個坑 y = tf.placeholder("float", [None, n_classes])#跟之前的一樣，現在會話層佔個坑 # NETWORK PARAMETERS stddev = 0.1 weights = { 'w1': tf.Variable(tf.random_normal([n_input, n_hidden_1], stddev=stddev)), 'w2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2], stddev=stddev)), 'w3': tf.Variable(tf.random_normal([n_hidden_2, n_hidden_3], stddev=stddev)), 'out': tf.Variable(tf.random_normal([n_hidden_3, n_classes], stddev=stddev))#以上幾句程式碼就是連線層與層之間的矩陣對其 } biases = { 'b1': tf.Variable(tf.random_normal([n_hidden_1])), 'b2': tf.Variable(tf.random_normal([n_hidden_2])), 'b3': tf.Variable(tf.random_normal([n_hidden_3])), 'out': tf.Variable(tf.random_normal([n_classes]))#以上幾句程式碼對應於每一層的biases偏移項 } print ("NETWORK READY") def multilayer_perceptron(_X, _weights, _biases): layer_1 = tf.nn.sigmoid(tf.add(tf.matmul(_X, _weights['w1']), _biases['b1'])) layer_2 = tf.nn.sigmoid(tf.add(tf.matmul(layer_1, _weights['w2']), _biases['b2'])) layer_3 = tf.nn.sigmoid(tf.add(tf.matmul(layer_2, _weights['w3']), _biases['b3'])) return (tf.matmul(layer_3, _weights['out']) + _biases['out'])#以上幾句就是層與層之間的矩陣計算 # PREDICTION pred = multilayer_perceptron(x, weights, biases) # LOSS AND OPTIMIZER cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred, labels=y)) optm = tf.train.GradientDescentOptimizer(learning_rate=0.001).minimize(cost) corr = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1)) accr = tf.reduce_mean(tf.cast(corr, "float"))#以上幾句是定義損失函式和優化過程 # INITIALIZER init = tf.global_variables_initializer()#定義初始化變數 print ("FUNCTIONS READY") training_epochs = 20#以上和剛剛邏輯迴歸中的框架幾乎差不多可對比理解 batch_size = 100 display_step = 4 # LAUNCH THE GRAPH sess = tf.Session() sess.run(init) # OPTIMIZE for epoch in range(training_epochs): avg_cost = 0. total_batch = int(mnist.train.num_examples/batch_size) # ITERATION for i in range(total_batch): batch_xs, batch_ys = mnist.train.next_batch(batch_size) feeds = {x: batch_xs, y: batch_ys} sess.run(optm, feed_dict=feeds) avg_cost += sess.run(cost, feed_dict=feeds) avg_cost = avg_cost / total_batch # DISPLAY if (epoch+1) % display_step == 0: print ("Epoch: %03d/%03d cost: %.9f" % (epoch, training_epochs, avg_cost)) feeds = {x: batch_xs, y: batch_ys} train_acc = sess.run(accr, feed_dict=feeds) print ("TRAIN ACCURACY: %.3f" % (train_acc)) feeds = {x: mnist.test.images, y: mnist.test.labels} test_acc = sess.run(accr, feed_dict=feeds) print ("TEST ACCURACY: %.3f" % (test_acc)) print ("OPTIMIZATION FINISHED") 列印3層神經網路結果： Epoch: 003/020 cost: 2.301472056 TRAIN ACCURACY: 0.110 TEST ACCURACY: 0.113 Epoch: 007/020 cost: 2.300291767 TRAIN ACCURACY: 0.060 TEST ACCURACY: 0.113 Epoch: 011/020 cost: 2.299280995 TRAIN ACCURACY: 0.090 TEST ACCURACY: 0.113 Epoch: 015/020 cost: 2.298274851 TRAIN ACCURACY: 0.120 TEST ACCURACY: 0.113 Epoch: 019/020 cost: 2.297222061 TRAIN ACCURACY: 0.030 TEST ACCURACY: 0.113 OPTIMIZATION FINISHED 修改三層神經網路變成2層神經網路 列印2層神經網路結果： Epoch: 003/020 cost: 2.269114979 TRAIN ACCURACY: 0.190 TEST ACCURACY: 0.250 Epoch: 007/020 cost: 2.233587230 TRAIN ACCURACY: 0.380 TEST ACCURACY: 0.368 Epoch: 011/020 cost: 2.194513177 TRAIN ACCURACY: 0.360 TEST ACCURACY: 0.458 Epoch: 015/020 cost: 2.149544148 TRAIN ACCURACY: 0.460 TEST ACCURACY: 0.528 Epoch: 019/020 cost: 2.096397300 TRAIN ACCURACY: 0.530 TEST ACCURACY: 0.593 OPTIMIZATION FINISHED
觀察上面的對比可看到2層神經網路效果比三層神經網路效果要好，當然了這中間還有很多可以優化的地方，還要調參設定神經元的個數，再去觀察分類效果，其實我們從剛剛的線性迴歸、邏輯迴歸到用神經網路去做分類任務，我們也能看到神經網路在於調參和設定相關的神經元，所以在解決實際問題是並不一定堅持用神經網路，可以結合傳統的機器學習演算法。
當然了從這兩個不同層的神經網路，我們可以看到在tensorflow中玩神經網路它把我們的反向傳播和相關複雜的計算都給封裝起來了，這對我們來說太棒了，很簡單直接呼叫即可，雖然這樣簡單我還是建議大家去看下相關的原始碼，去理解比如反向傳播真正用程式碼實現是怎麼個過程，有利於我們更深入的理解神經網路的正向和反向傳播過程。
深夜每學到這裡，大腦都異常興奮，深度學習的世界總是給人無窮的吸引力，堅持努力探索，爭取在深度學習的世界也能貢獻自己的一份力量。