Costfunction代價函式：

在前面的課程總我們瞭解了邏輯迴歸的代價函式：

在神經網路中，我們增加了對k個輸出的誤差進行了求和。得到代價函式如下：

K為輸出的個數，在正則項中L表示神經網路的層數

Backpropagation algorithm反向傳播演算法：

當我們進行梯度下降演算法的時候，便要計算J的偏導數。在神經網路中最後造成誤差結果不單是由最後一層導致的。因此，需要對中間層的誤差進行計算當。我們計算某一層的誤差時，通過鏈式法則我們便要對後面的層的偏導進行計算。我們可以通過反向傳播演算法來計算這些偏導數。

其中delta為誤差g'(z)可以化簡為g(z)*(1-g(z))

其中a表示計算所得的值，a為正向傳播。delta為第l層，第i個值對第j個下一個單元的誤差值，從最後一層反向傳播。

Gradient checking（梯度檢驗）:

在行經梯度下降的時候常會有各種bug，有時候雖然代價函式的值在下降但實際上還有有很大的誤差可能是由小bug導致的。我們可以使用梯度檢驗對其進行檢測，保證產生模型的質量。

可以使用J(theta+ε)-J(theta-ε)/ε來檢驗J(theta)的導數

n為theta的數量，從theta的第一項開始，將thetaPlus賦值為theta+epsilon，thetaMinus賦值為theta-epsilon。gradApprox表示第i項上檢測的偏導值。

Random initialization：

總結：

神經網路的輸入輸出中間層的引數選擇：確定的特徵集決定了輸入的單元數量X的維度，分類的個數決定輸出層的維度。

理論上來說隱藏層單元個數越多越好，中間層的單元個數一般與輸入層的維度相匹配（相同或者二三四倍）。

程式設計作業：

程式設計作業的主要任務是寫出神經網路的代價函式，然後通過反向傳播演算法進行梯度下降，最後是進行正則化。

nncostfunction：

function [J grad] = nnCostFunction(nn_params, ...
                                   input_layer_size, ...
                                   hidden_layer_size, ...
                                   num_labels, ...
                                   X, y, lambda)

Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), ...
                 hidden_layer_size, (input_layer_size + 1));

Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), ...
                 num_labels, (hidden_layer_size + 1));

% Setup some useful variables
m = size(X, 1);
         
% You need to return the following variables correctly 
J = 0;
Theta1_grad = zeros(size(Theta1));
Theta2_grad = zeros(size(Theta2));

X = [ones(m, 1) X];
ylabel = zeros(num_labels, m);
for i=1:m
    ylabel(y(i), i) = 1;
end

z2 = X*Theta1';
z2 = [ones(m, 1) z2];
a2 = sigmoid(X*Theta1');
a2 = [ones(m, 1) a2];
a3 = sigmoid(a2*Theta2');


for i=1:m
	J=J-log( a3 (i,:) ) * ylabel(:,i)-log( 1-a3(i,:) )*(1-ylabel(:,i));
end
J=J/m;
J=J+lambda/(2*m)*(sum(sum(Theta1(:,2:end).^2))+sum(sum(Theta2(:,2).^2)));
Delta1 = zeros(size(Theta1));
Delta2 = zeros(size(Theta2));
for t=1:m
	delta3=a3(t,:)'-ylabel(:,t);
	delta2=Theta2'*delta3.*sigmoidGradient(z2(t,:)');
	

	Delta1=Delta1+delta2(2:end)*X(t,:);

	Deltal=Delta2+delta3*a2(t,:);
end

Theta1_grad = Delta1 /m;

Theta1_grad(:,2:end)=Theta1_grad(:,2:end)+lambda/m*Theta1(:,2:end);

Theta2_grad=Delta2 /m;

Theta2_grad(:,2:end)=Theta2_grad(:,2:end)+lambda/m*Theta2(:,2:end);





% -------------------------------------------------------------

% =========================================================================

% Unroll gradients
grad = [Theta1_grad(:) ; Theta2_grad(:)];


end
 

sigmoidgradient：用來計算g(z)*(1-g(z))

function g = sigmoidGradient(z)
%SIGMOIDGRADIENT returns the gradient of the sigmoid function
%evaluated at z
g = zeros(size(z));
g=sigmoid(z).*(1-sigmoid(z));

end

randinitalizeweight:生成隨機初始theta

function W = randInitializeWeights(L_in, L_out)

W = zeros(L_out, 1 + L_in);

epsilon_init = 1;
W = rand(L_out, 1 + L_in) * 2 * epsilon_init - epsilon_init;


end