# -*- coding: utf-8 -*-

import tensorflow as tf
import os
import numpy as np

#TF：TF實現簡單的三層全連線神經網路（輸入、隱藏、輸出層分別為 2、3 、 2 個神經元）
#隱藏層和輸出層的啟用函式使用的是 ReLU 函式。該模型訓練的樣本總數為 512，每次迭代讀取的批量為 10。全連線網路以交叉熵為損失函式，並使用 Adam 優化演算法進行權重更新。
import  tensorflow  as  tf 
from  numpy.random  import   RandomState  
batch_size= 10 
w1=tf. Variable (tf.random_normal([ 2 , 3 ],stddev= 1 ,seed= 1 )) 
w2=tf. Variable (tf.random_normal([ 3 , 1 ],stddev= 1 ,seed= 1 )) 
# None 可以根據batch 大小確定維度，在shape的一個維度上使用None 
x=tf.placeholder(tf.float32,shape=( None , 2 )) 
y=tf.placeholder(tf.float32,shape=( None , 1 ))  
#啟用函式使用ReLU 
a=tf.nn.relu(tf.matmul(x,w1)) 
yhat=tf.nn.relu(tf.matmul(a,w2))  
#定義交叉熵為損失函式，訓練過程使用Adam演算法最小化交叉熵 
cross_entropy=-tf.reduce_mean(y*tf.log(tf.clip_by_value(yhat, 1e-10 , 1.0 ))) 
train_step=tf.train. AdamOptimizer ( 0.001 ).minimize(cross_entropy)
#tf.train.AdamOptimizer(learning_rate).minimize(cost_function) 是進行訓練的函式，其中我們採用的是 Adam 優化演算法更新權重，並且需要提供學習速率和損失函式這兩個引數。
rdm= RandomState ( 1 ) 
data_size= 516  
#生成兩個特徵，共data_size個樣本 
X=rdm.rand(data_size, 2 )#X=rdm.rand(512,2) 表示隨機生成 512 個樣本，每個樣本有兩個特徵值。
#定義規則給出樣本標籤，所有x1+x2<1的樣本認為是正樣本，其他為負樣本。Y，1為正樣本 
Y = [[int(x1+x2 <  1 )]  for  (x1, x2)  in  X] 
with  tf.Session()  as  sess:
    sess.run(tf.global_variables_initializer())
    print (sess.run(w1)) 
    print (sess.run(w2))
    steps= 11000
    for  i  in  range(steps):
    #選定每一個批量讀取的首尾位置，確保在1個epoch內取樣訓練         
        start = i * batch_size % data_size
        end = min(start + batch_size,data_size)
        sess.run(train_step,feed_dict={x:X[start:end],y:Y[start:end]})
        if  i %  1000  ==  0 :
            training_loss= sess.run(cross_entropy,feed_dict={x:X,y:Y})
            print ( "在迭代 %d 次後，訓練損失為 %g" %(i,training_loss))