# 1. 生成模擬資料集
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

data = []
label = []
np.random.seed(0) #每次生成相同的隨機數

# 以原點為圓心，半徑為1的圓把散點劃分成紅藍兩部分，並加入隨機噪音。
for i in range(150):
    x1 = np.random.uniform(-1,1) #橫軸區間，均勻分佈
    x2 = np.random.uniform(0,2)  #縱軸區間
    if x1**2 + x2**2 <= 1:
        data.append([np.random.normal(x1, 0.1),np.random.normal(x2,0.1)])
        label.append(0)
    else:
        data.append([np.random.normal(x1, 0.1), np.random.normal(x2, 0.1)])
        label.append(1)

# -1就是讓系統根據元素數和已知行或列推算出剩下的列或行，-1就是模糊控制，
# （-1,2）就是固定兩列，行不知道
data = np.hstack(data).reshape(-1,2)
label = np.hstack(label).reshape(-1, 1)
plt.scatter(data[:,0], data[:,1], c=label,
           cmap="RdBu", vmin=-.2, vmax=1.2, edgecolor="white")
plt.show()

# 2. 定義一個獲取權重，並自動加入正則項到損失的函式

def get_weight(shape, lambda1):
    #生成一個變數
    var = tf.Variable(tf.random_normal(shape), dtype=tf.float32)

    # tf.add_to_collection：把變數放入一個集合，把很多變數變成一個列表
    # tf.get_collection：從一個結合中取出全部變數，是一個列表
    # tf.add_n：把一個列表的東西都依次加起來

    #add_to_collection函式將這個新生成變數的L2正則化損失項加入集合
    #這個函式的第一個引數‘losses’是集合的名字，第二個引數是要加入這個集合的內容
    tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(lambda1)(var))
    #返回生成的變數
    return var

# 3. 定義神經網路
x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))
sample_size = len(data)

# 每層節點的個數
layer_dimension = [2,10,5,3,1]
#神經網路的層數
n_layers = len(layer_dimension)
#這個變數維護前向傳播時最深層的節點，開始的時候就是輸入層
cur_layer = x
#當前層節點個數
in_dimension = layer_dimension[0]

# 通過一個迴圈來生成5層全連線的神經網路結構
for i in range(1, n_layers):
    #layer_dimension[i]為下一層的節點個數
    out_dimension = layer_dimension[i]
    #生成當前層中權重的變數，並將這個變數的L2正則化損失加入計算圖上的集合
    weight = get_weight([in_dimension, out_dimension], 0.003)
    bias = tf.Variable(tf.constant(0.1, shape=[out_dimension]))
    #使用elu啟用函式
    cur_layer = tf.nn.elu(tf.matmul(cur_layer, weight) + bias)
    #進入下一層之前將下一層的節點個數更新為當前層節點個數
    in_dimension = layer_dimension[i]

y= cur_layer

# 損失函式的定義:
#在定義神經網路前向傳播的同時已經將所有的L2正則化損失加入了圖上的集合，
#這裡只需要計算刻畫模型在訓練資料上表現的損失函式
mse_loss = tf.reduce_sum(tf.pow(y_ - y, 2)) / sample_size
#將均方差損失函式加入到損失集合
tf.add_to_collection('losses', mse_loss)
loss = tf.add_n(tf.get_collection('losses'))

# 4. 訓練不帶正則項的損失函式mse_loss
# 定義訓練的目標函式mse_loss，訓練次數及訓練模型
train_op = tf.train.AdamOptimizer(0.001).minimize(mse_loss)
TRAINING_STEPS = 40000

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    for i in range(TRAINING_STEPS):
        sess.run(train_op, feed_dict={x: data, y_: label})
        if i % 2000 == 0:
            print("After %d steps, mse_loss: %f" % (i,sess.run(mse_loss, feed_dict={x: data, y_: label})))

    # 畫出訓練後的分割曲線
    # mgrid函式產生兩個240×241的陣列：-1.2到1.2每隔0.01取一個數共240個
    xx, yy = np.mgrid[-1.2:1.2:.01, -0.2:2.2:.01]
    #np.c_是按行連線兩個矩陣，就是把兩矩陣左右相加，要求行數相等，類似於pandas中的merge()
    grid = np.c_[xx.ravel(), yy.ravel()]
    probs = sess.run(y, feed_dict={x:grid})
    probs = probs.reshape(xx.shape)

plt.scatter(data[:,0], data[:,1], c=label,
           cmap="RdBu", vmin=-.2, vmax=1.2, edgecolor="white")
plt.contour(xx, yy, probs, levels=[.5], cmap="Greys", vmin=0, vmax=.1)
plt.show()

# 5. 訓練帶正則項的損失函式loss
# 定義訓練的目標函式loss，訓練次數及訓練模型
train_op = tf.train.AdamOptimizer(0.001).minimize(loss)
TRAINING_STEPS = 40000

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    for i in range(TRAINING_STEPS):
        sess.run(train_op, feed_dict={x: data, y_: label})
        if i % 2000 == 0:
            print("After %d steps, loss: %f" % (i, sess.run(loss, feed_dict={x: data, y_: label})))

    # 畫出訓練後的分割曲線
    xx, yy = np.mgrid[-1:1:.01, 0:2:.01]
    grid = np.c_[xx.ravel(), yy.ravel()]
    probs = sess.run(y, feed_dict={x:grid})
    probs = probs.reshape(xx.shape)

plt.scatter(data[:,0], data[:,1], c=label,
           cmap="RdBu", vmin=-.2, vmax=1.2, edgecolor="white")
plt.contour(xx, yy, probs, levels=[.5], cmap="Greys", vmin=0, vmax=.1)

plt.show()

注：之前使用pycharm進行計算，這次使用conda內建的spyder編譯器生成結果。在spyder開著的情況下，pycharm無法執行此程式，會提示各種錯誤，解決辦法就是關閉pycharm。