#!/usr/bin/env python
# -*- coding:utf-8 -*-

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# number 1 to 10 data
mnist = input_data.read_data_sets('MNIST_data',one_hot=True)

# 輸出結果依然是準確度
def compute_accuracy(v_xs, v_ys):
    global prediction
    y_pre = sess.run(prediction, feed_dict={xs: v_xs, keep_prob: 1})
    correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(v_ys,1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    result = sess.run(accuracy, feed_dict={xs: v_xs, ys: v_ys, keep_prob: 1})
    return result

# 定義Weight變數，輸入shape，返回變數的引數。其中我們使用tf.truncted_normal產生隨機變數來進行初始化:
def weight_variable(shape):
    initial = tf.truncated_normal(shape,stddev=0.1)
    return tf.Variable(initial)

# 定義biase變數，輸入shape ,返回變數的一些引數。其中我們使用tf.constant常量函式來進行初始化:
def bias_variable(shape):
    initial = tf.constant(0.1,shape=shape)
    return tf.Variable(initial)

# 定義卷積，tf.nn.conv2d函式是tensoflow裡面的二維的卷積函式，x是圖片的所有引數，W是此卷積層的權重，然後定義步長
# strides=[1,1,1,1]值，strides[0]和strides[3]的兩個1是預設值，中間兩個1代表padding時在x方向運動一步，y方向運動一步，padding採用的方式是SAME。
def conv2d(x,W):
    # stride [1,x_movement,y_movement,1]
    return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')
    # x為圖片的所有資訊  strides 步長 水平數值方向跨度都為1

# 為了得到更多的圖片資訊，padding時選擇的是一次一步，也就是strides[1]=strides[2]=1，這樣得到的圖片尺寸沒有變化
# 而我們希望壓縮一下圖片也就是引數能少一些從而減小系統的複雜度，因此我們採用pooling來稀疏化引數，也就是卷積神經網路中所的下采樣層。
# pooling 有兩種，一種是最大值池化，一種是平均值池化，本例採用的是最大值池化tf.max_pool()。
# 池化的核函式大小為2x2，因此ksize=[1,2,2,1]，步長為2，因此strides=[1,2,2,1]:
def max_pool_2x2(x):
    return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')

# define placeholder for inputs to network
xs = tf.placeholder(tf.float32, [None, 784])/255.   # 28x28
ys = tf.placeholder(tf.float32, [None, 10])
# 定義了dropout的placeholder，它是解決過擬合的有效手段
keep_prob = tf.placeholder(tf.float32)
# 先處理xs的資訊（傳入圖片的資訊），把xs的形狀變成[-1,28,28,1]，-1代表先不考慮輸入的圖片例子多少這個維度，後面的1是channel的數量，
# 因為我們輸入的圖片是黑白的，因此channel是1，例如如果是RGB影象，那麼channel就是3。
x_image = tf.reshape(xs, [-1, 28, 28, 1])
# print(x_image.shape)  # [n_samples, 28,28,1]

## conv1 layer ##
# 先定義本層的Weight,本層我們的卷積核patch的大小是5x5，因為黑白圖片channel是1所以輸入是1，輸出是32個featuremap
W_conv1 = weight_variable([5, 5, 1, 32]) # patch 5x5, in size 1, out size 32
# 定義bias，它的大小是32個長度，因此我們傳入它的shape為[32]
b_conv1 = bias_variable([32])
# 搭建CNN的第一個卷積層，（輸入*weight+bias），同時巢狀一個relu的非線性處理，也就是啟用函式。
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1) # 由於採用SAME的padding方式，輸出圖片的大小沒有變化，只是厚度變厚了。output size 28x28x32
h_pool1 = max_pool_2x2(h_conv1) # 最後進行pooling處理，output size 14x14x32

## conv2 layer ##
# 定義CNN的第二個卷積層
W_conv2 = weight_variable([5, 5, 32, 64]) # patch 5x5, in size 32, out size 64(假設)
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) # 輸入layer1所輸出的結果。output size 14x14x64
h_pool2 = max_pool_2x2(h_conv2)                                                 # output size 7x7x64

## fc1 layer ##
# 接下來定義 fully connected layer
W_fc1 = weight_variable([7*7*64, 1024]) # 輸入的shape是h_pool2展平了的輸出大小: 7x7x64，輸出1024
b_fc1 = bias_variable([1024])
# 進入全連線層時, 我們通過tf.reshape()將h_pool2的輸出值從一個三維的變為一維的資料, -1表示先不考慮輸入圖片例子維度, 將上一個輸出結果展平.
# 形狀變換： [n_samples, 7, 7, 64] ->> [n_samples, 7*7*64]
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1) # 矩陣相乘
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) # 考慮overfitting加入一個dropout處理

## fc2 layer ##
W_fc2 = weight_variable([1024, 10]) # 輸入1024，輸出10個。[0-9]十個類
b_fc2 = bias_variable([10])
# 用softmax分類器（多分類，輸出是各個類的概率）,對我們的輸出進行分類
prediction = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)


# the error between prediction and real data
# 利用交叉熵損失函式來定義我們的cost function
cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction),
                                              reduction_indices=[1]))       # loss
# 用tf.train.AdamOptimizer()作為我們的優化器進行優化，使我們的cross_entropy最小
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # learning rate = 0.0001

sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)

# sess.run()時記得要用feed_dict給定義的placeholder喂資料.
for i in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={xs: batch_xs, ys: batch_ys, keep_prob: 0.5})
    if i % 50 == 0:
        print(compute_accuracy(
            mnist.test.images[:1000], mnist.test.labels[:1000]))