吳恩達 Coursera 課程 DeepLearning.ai 程式設計作業系列，本文為《卷積神經網路》部分的第四周“特殊應用：人臉識別和神經風格遷移”的課程作業。

Part 1：Face Recognition for the Happy House

Welcome to the first assignment of week 4! Here you will build a face recognition system. Many of the ideas presented here are from FaceNet. In lecture, we also talked about

DeepFace.

Face recognition problems commonly fall into two categories:

• Face Verification - “is this the claimed person?”. For example, at some airports, you can pass through customs by letting a system scan your passport and then verifying that you (the person carrying the passport) are the correct person. A mobile phone that unlocks using your face is also using face verification. This is a 1:1 matching problem.
• Face Recognition - “who is this person?”. For example, the video lecture showed a face recognition video (https://www.youtube.com/watch?v=wr4rx0Spihs) of Baidu employees entering the office without needing to otherwise identify themselves. This is a 1:K matching problem.

FaceNet learns a neural network that encodes a face image into a vector of 128 numbers. By comparing two such vectors, you can then determine if two pictures are of the same person.

In this assignment, you will:
- Implement the triplet loss function
- Use a pretrained model to map face images into 128-dimensional encodings
- Use these encodings to perform face verification and face recognition

In this exercise, we will be using a pre-trained model which represents ConvNet activations using a “channels first” convention, as opposed to the “channels last” convention used in lecture and previous programming assignments. In other words, a batch of images will be of shape (m,nC,nH,nW)$(m,n_C,n_H,n_W)$ instead of (m,nH,nW,nC)$(m,n_H,n_W,n_C)$. Both of these conventions have a reasonable amount of traction among open-source implementations; there isn’t a uniform standard yet within the deep learning community.

Let’s load the required packages.

from keras.models import Sequential
from keras.layers import Conv2D, ZeroPadding2D, Activation, Input, concatenate
from keras.models import Model
from keras.layers.normalization import BatchNormalization
from keras.layers.pooling import MaxPooling2D, AveragePooling2D
from keras.layers.merge import Concatenate
from keras.layers.core import Lambda, Flatten, Dense
from keras.initializers import glorot_uniform
from keras.engine.topology import Layer
from keras import backend as K
K.set_image_data_format('channels_first')
import cv2
import os
import numpy as np
from numpy import genfromtxt
import pandas as pd
import tensorflow as tf
from fr_utils import *
from inception_blocks_v2 import *

%matplotlib inline
%load_ext autoreload
%autoreload 2

np.set_printoptions(threshold=np.nan)

0 - Naive Face Verification

In Face Verification, you’re given two images and you have to tell if they are of the same person. The simplest way to do this is to compare the two images pixel-by-pixel. If the distance between the raw images are less than a chosen threshold, it may be the same person!

Figure 1

Of course, this algorithm performs really poorly, since the pixel values change dramatically due to variations in lighting, orientation of the person’s face, even minor changes in head position, and so on.

You’ll see that rather than using the raw image, you can learn an encoding f(img)$f(img)$ so that element-wise comparisons of this encoding gives more accurate judgements as to whether two pictures are of the same person.

1 - Encoding face images into a 128-dimensional vector

1.1 - Using an ConvNet to compute encodings

The FaceNet model takes a lot of data and a long time to train. So following common practice in applied deep learning settings, let’s just load weights that someone else has already trained. The network architecture follows the Inception model from Szegedy et al.. We have provided an inception network implementation. You can look in the file inception_blocks.py to see how it is implemented (do so by going to “File->Open…” at the top of the Jupyter notebook).

The key things you need to know are:

• This network uses 96x96 dimensional RGB images as its input. Specifically, inputs a face image (or batch of m$m$ face images) as a tensor of shape (m,nC,nH,nW)=(m,3,96,96)$(m,n_C,n_H,n_W)=(m,3,96,96)$
• It outputs a matrix of shape (m,128)$(m,128)$ that encodes each input face image into a 128-dimensional vector

Run the cell below to create the model for face images.

FRmodel = faceRecoModel(input_shape=(3, 96, 96))

print("Total Params:", FRmodel.count_params())

Total Params: 3743280

By using a 128-neuron fully connected layer as its last layer, the model ensures that the output is an encoding vector of size 128. You then use the encodings the compare two face images as follows:

Figure 2:
By computing a distance between two encodings and thresholding, you can determine if the two pictures represent the same person

So, an encoding is a good one if:
- The encodings of two images of the same person are quite similar to each other
- The encodings of two images of different persons are very different

The triplet loss function formalizes this, and tries to “push” the encodings of two images of the same person (Anchor and Positive) closer together, while “pulling” the encodings of two images of different persons (Anchor, Negative) further apart.

Figure 3:
In the next part, we will call the pictures from left to right: Anchor (A), Positive (P), Negative (N)

1.2 - The Triplet Loss

For an image x$x$, we denote its encoding f(x)$f(x)$, where f$f$ is the function computed by the neural network.

Training will use triplets of images (A,P,N)$(A,P,N)$:

• A is an “Anchor” image–a picture of a person.
• P is a “Positive” image–a picture of the same person as the Anchor image.
• N is a “Negative” image–a picture of a different person than the Anchor image.

These triplets are picked from our training dataset. We will write (A(i),P(i),N(i))$(A^{(i)},P^{(i)},N^{(i)})$ to denote the i$i$-th training example.

You’d like to make sure that an image A(i)$A^{(i)}$ of an individual is closer to the Positive P(i)$P^{(i)}$ than to the Negative image N(i)$N^{(i)}$) by at least a margin α$\alpha$:

∣∣f(A(i))−f(P(i))∣∣22+α<∣∣f(A(i))−f(N(i))∣∣22$$\mid \mid f(A^{(i)})-f(P^{(i)})\mid {\mid }_2^2+\alpha <\mid \mid f(A^{(i)})-f(N^{(i)})\mid {\mid }_2^2$$

You would thus like to minimize the following “triplet cost”:

J=∑i=1m[∣∣f(A(i))−f(P(i))∣∣22

相關推薦

吳恩達 深度學習 程式設計作業（4-4）- Face Recognition for the Happy House & Art: Neural Style Transfer

吳恩達 Coursera 課程 DeepLearning.ai 程式設計作業系列，本文為《卷積神經網路》部分的第四周“特殊應用：人臉識別和神經風格遷移”的課程作業。 Part 1：Face Recognition for the Happy H

吳恩達 深度學習 程式設計作業（5-1）Part 2

吳恩達 Coursera 課程 DeepLearning.ai 程式設計作業系列，本文為《序列模型》部分的第一週“迴圈神經網路”的課程作業——第二部分：字母級的語言模型：恐龍獸島。 Character level language model -

吳恩達 深度學習 程式設計作業（2-1）- Initialization & Regularization & Gradient Checking

吳恩達Coursera課程 DeepLearning.ai 程式設計作業系列，本文為《改善深層神經網路：超引數除錯、正則化以及優化 》部分的第四周“深度學習的實踐方面”的課程作業，同時增加了一些輔助的測試函式。 You can get the s

吳恩達 深度學習 程式設計作業（2-3）- TensorFlow Tutorial

吳恩達Coursera課程 DeepLearning.ai 程式設計作業系列，本文為《改善深層神經網路：超引數除錯、正則化以及優化 》部分的第三週“超引數除錯 和 Batch Norm”的課程作業，同時增加了一些輔助的測試函式。 Tensor

吳恩達 深度學習 程式設計作業（4-1）- Convolutional Neural Networks & CNN Application

吳恩達Coursera課程 DeepLearning.ai 程式設計作業系列，本文為《卷積神經網路 》部分的第一週“卷積神經網路基礎”的課程作業。 Part 1：Convolutional Neural Networks: Step by St

吳恩達 深度學習 程式設計作業（4-3）- Autonomous driving

吳恩達 Coursera 課程 DeepLearning.ai 程式設計作業系列，本文為《卷積神經網路 》部分的第三週“目標檢測”的課程作業。 Autonomous driving - Car detection Welcome to you

Elam的吳恩達深度學習課程筆記（一）

記憶力是真的差，看過的東西要是一直不用的話就會馬上忘記,於是乎有了寫部落格把學過的東西儲存下來，大概就是所謂的集鞏固，分享，後期查閱與一身的思想吧，下面開始正題 深度學習概論 什麼是神經網路 什麼是神經網路呢，我們就以房價預測為例子來描述一個最簡單的神經網路模型。 　　假設有6間

deep learning 吳恩達 第四課第四周 卷積神經網路 ：Face Recognition for the Happy House - v3

Face Recognition for the Happy House Welcome to the first assignment of week 4! Here you will build a face recognition system. Many of the ideas pre

吳恩達.深度學習系列-C1神經網路與深度學習-w3-（作業：一個隱藏層進行二維資料分類）

前言 **注意：coursera要求不要在網際網路公佈自己的作業。如果你在學習這個課程，建議你進入課程系統自行完成作業。使用邏輯迴歸作為一個最簡單的類似神經網路來進行影象判別。我覺得程式碼有參考和保留的意義。v 使用一個 2×4×1的網路來對資料進

吳恩達.深度學習系列-C1神經網路與深度學習-W2-（作業：神經網路思想的邏輯迴歸）

注意：coursera要求不要在網際網路公佈自己的作業。如果你在學習這個課程，建議你進入課程系統自行完成作業。使用邏輯迴歸作為一個最簡單的類似神經網路來進行影象判別。我覺得程式碼有參考和保留的意義。 Logistic Regression with a N

吳恩達.深度學習系列-C1神經網路與深度學習-w4-（ 作業：建立神經網路）

前言 注意：coursera要求不要在網際網路公佈自己的作業。如果你在學習這個課程，建議你進入課程系統自行完成作業。我覺得程式碼有參考和保留的意義。 本週的作業包含兩個部分。Building your Deep Neural Network， De

吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（一）

不同的 圖片 存在 最終 一個 har end markdown 輸入 1. RNN 首先思考這樣一個問題：在處理序列學習問題時，為什麽不使用標準的神經網絡（建立多個隱藏層得到最終的輸出）解決，而是提出了RNN這一新概念？ 標準神經網絡如下圖所示： 標準神經網絡在解決序列

吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（二）

blog 如何 這一 累加 soft 學習 測試 接下來 數據 導讀 本節內容介紹如何使用RNN訓練語言模型，並生成新的文本序列。 語言模型（Language model） 通過語言模型，我們可以計算某個特定句子出現的概率是多少，或者說該句子屬於真實句子的概率是多少。正式點

吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（三）

崩潰 body 很難 mark 因此 梯度 處理方法 弊端 原理 1. 導讀 本節內容介紹普通RNN的弊端，從而引入各種變體RNN，主要講述GRU與LSTM的工作原理。 2. 普通RNN的弊端 在NLP中，句子內部以及句子之間可能存在很長的依賴關系（long-term d

吳恩達深度學習筆記（七） —— Batch Normalization

學習 bat 中括號 和平 一個 內容 batch 可能 加權 主要內容： 一.Batch Norm簡介 二.歸一化網絡的激活函數 三.Batch Norm擬合進神經網絡 四.測試時的Batch Norm 一.Batch Norm簡介 1.在機器學習中，我們一般

吳恩達深度學習筆記（八） —— ResNets殘差網絡

con 一個 學習 ets str 帶來 圖片 梯度 就是 （好累……，明日在寫……） 主要內容： 一.殘差網絡簡介 二.identity block 和 convolutional block 一.殘差網絡簡介 1.深度神經網絡很大的一個優點就是能夠表示一個

吳恩達深度學習2-Week2課後作業3-優化演算法

一、deeplearning-assignment 到目前為止，在之前的練習中我們一直使用梯度下降來更新引數並最小化成本函式。在本次作業中，將學習更先進的優化方法，它在加快學習速度的同時，甚至可以獲得更好的最終值。一個好的優化演算法可以讓你幾個小時內就獲得一個結果，而不是等待幾天。 1.

吳恩達深度學習2-Week1課後作業3-梯度檢測

一、deeplearning-assignment 神經網路的反向傳播很複雜，在某些時候需要對反向傳播演算法進行驗證，以證明確實有效，這時我們引入了“梯度檢測”。 反向傳播需要計算梯度 , 其中θ表示模型的引數。J是使用前向傳播和損失函式計算的。因為前向傳播實現相對簡單, 所以

吳恩達深度學習2-Week3課後作業-Tensorflow

一、deeplearning-assignment 到目前為止，我們一直使用numpy來建立神經網路。這次作業將深入學習框架，可以更容易地建立神經網路。 TensorFlow，PaddlePaddle，Torch，Caffe，Keras等機器學習框架可以顯著地加速機器學習開發。這些框架有

吳恩達深度學習筆記（3）-神經網路如何實現監督學習？

神經網路的監督學習(Supervised Learning with Neural Networks) 關於神經網路也有很多的種類，考慮到它們的使用效果，有些使用起來恰到好處，但事實表明，到目前幾乎所有由神經網路創造的經濟價值，本質上都離不開一種叫做監督學習的機器學習類別，讓我們舉例看看。