2. 程式人生 > >Multi-Task CNN

Multi-Task CNN

阿新 • • 發佈：2018-11-12
  • 同時實習人臉檢測與人臉對齊；
  • 級聯結構，三階段卷積網路，由粗到細的預測人臉候選框和關鍵點位置

資料預處理

對影象進行多尺度的resize，構成影象金字塔，頂端金字塔最小應該大於12 * 12。這樣網路的輸入尺寸雖然固定，但是可以處理不同尺寸的人臉。

訓練集構建

由於網路同時執行人臉檢測和對齊，因此在這裡我們在訓練過程中使用四種不同的資料型別：

  1. Positives:與ground truth face的IOU高於閾值0.65,
  2. Negatives: 與ground truth face的IOU低於閾值0.3
  3. partfaces: 與ground truth face的IOU處於0.4和0.65之間
  4. landmarkface: 擁有landmark的標籤的人臉

在人臉分類任務中使用使用positives & negatives； 在候選框bbox預測任務中使用positives & partface；  在人臉landmark預測任務中使用landmarkfaces
    

Proposal Network (P-Net)

得到5個通道的特徵圖：第一個通道代表置信度：凡是大於0.7的留下來然後。反算回去：IDX（特徵圖的索引）*步長=進入P網路圖的尺寸，然後除以原圖的比例，得到建議框（為正方形），另外四個通道為位置的偏移：XX * / W = X關（偏移）得到原框X.然後通過非大值抑制，將多餘的框去掉。

  1. 藉助FCN思想,每個12*12*3的bbox候選框作為輸入,PNet只能檢測12*12內人臉，所以應對影象按比例縮放；將每個金字塔的圖片輸入到P網路
  2. 在訓練時，有3條支路輸出為人臉分類，邊框迴歸，關鍵點定位；而在測試時，輸出只有N個邊框的4個座標資訊和score(人臉分類置信度)
  3. 輸出候選框和相對應的邊界框迴歸向量(K*9，K就是bbox的數量，9包含4個座標點資訊(利用迴歸支路進行修改)，1個置信度score和4個用來調整前面4個座標點的偏移資訊).
  4. 利用迴歸向量修改邊框,然後NMS去除重疊輸出為N*5,N為最終bbox個數.

Refine Network (R-Net)

由於得到的原框大小可能為長方形，所以需要PIL等工具在原圖上接一個正方形，然後在等比例縮放，得到的24×24的人臉不會變形。然後重新確定位置的偏移，得到新的框，再做NMS

  1. 以P-Net預測的bbox資訊為基礎，對原始圖片切片並resize尺寸，即將bbox pading 為24*24,增加為4維,最終輸入(N,3,24,24)
  2. 經過人臉概率濾除,迴歸資訊利用,NMS得到最終輸出M*5,即M個4個座標點資訊(利用迴歸支路進行修改)和score組合

O-Net

  1. 與R-Net類似,但增加landmark位置資訊的迴歸，輸入N*3*48*48,
  2. output[0]N*10表示5個關鍵點的x,y資訊.ouput[1]表示最終若干個bbox的4個座標資訊和置信度分數

訓練過程

三個任務：

face/non-face classification

此為二分類問題，對於每個輸入x_{i}，我們採用交叉熵損失函式：

L_{i}^{det} = -(y_{i}^{det} log(p_{i}) + (1-y_{i}^{det})(1- log(p_{i})))

這裡p_{i}是網路預測樣本為人臉的概率,y^{det} \in \left \{ 0,1 \right \}表示真實人臉標籤資料

bounding box regression

對於每個候選視窗，我們預測它與最近的真實標籤之間的偏移（左上、寬度、高度），為迴歸任務，採用歐幾里得損失函式（L2範數損失函式）：

L_{i}^{box} = \left \| \widehat{y}_{i}^{box} - y_{i}^{box}\right \|_{2}^{2}

這裡\widehat{y}_{i}^{box} \in \mathbb{R}^{4}為網路輸出的邊框迴歸

landmark localization

如同邊框迴歸，關鍵點定位也是迴歸問題，最小化損失函式

L_{i}^{landmark} = \left \| \widehat{y}_{i}^{landmark} - y_{i}^{landmark}\right \|_{2}^{2}

多工訓練

通過損失函式分配實現：根據不同的輸入計算上述三種損失值

\min \sum_{i=1}^{N} \sum_{j\in\left \{ det,box,landmark \right \}}\alpha _{j}\beta _{i}^{j}L_{i}^{j}

這裡N是樣本數，\alpha _{j}表示任務重要性，P-Net，R-Net（\alpha _{det} = 1,\alpha_{box}=0.5,\alpha_{landmark}=0.5）,O-Net（\alpha _{det} = 1,\alpha_{box}=0.5,\alpha_{landmark}=1）。P-Net and R-Net的landmark任務重要性小於O-Net,說明前兩個stage重在濾除非人臉bbox 

\beta _{i}^{j} \in \left \{ 0,1 \right \}為樣本探測器，非人臉情況下,只需計算交叉熵損失。

此外，在每個mini-batch中,對前向傳播中所有樣本的損失進行排序,選擇前70%,作為hard sample,然後只將硬樣本的梯度用於反向傳播.

 

 

 

 

 

 

 

 

 

 

相關推薦

Multi-Task CNN

同時實習人臉檢測與人臉對齊； 級聯結構，三階段卷積網路，由粗到細的預測人臉候選框和關鍵點位置 資料預處理 對影象進行多尺度的resize，構成影象金字塔，頂端金字塔最小應該大於12 * 12。這樣網路的輸入尺寸雖然固定，但是可以處理不同尺寸的人臉。 訓練集構建 由於網

人臉檢測（三）——Multi-task CNN（MTCNN）

在人臉檢測和特徵點定位的任務上，這篇文章提出的方法比現有最先進的技術有明顯的額提升，而且具有實時處理的效能。 在這篇文章中，提出了一個深度卷積多工的框架，這個框架利用了檢測和對準之間固有的關係來增強他們的效能。特別是，在預測人臉及臉部標記點的時候，通過三階的級聯卷積神經

[譯]深度神經網絡的多任務學習概覽(An Overview of Multi-task Learning in Deep Neural Networks)

noi 使用方式 stats 基於 共享 process machines 嬰兒 sdro 譯自：http://sebastianruder.com/multi-task/ 1. 前言 在機器學習中，我們通常關心優化某一特定指標，不管這個指標是一個標準值，還是企業KPI。為

Multi Task Learning在工業界如何更勝一籌

算法 排序 摘要：本文主要介紹多任務學習和單任務學習的對比優勢以及在工業界的一些使用。如何從單任務學習轉變為多任務學習？怎樣使AUC和預估的準確率達到最佳？如何對實時性要求較高的在線應用更加友好？本文將以淘寶實例為大家進行分享多任務學習實現電商應用中的個性化服務搜索和推薦。演講嘉賓簡介：劉士琛（花名：

深度神經網路的多工學習概覽(An Overview of Multi-task Learning in Deep Neural Networks)

譯自：http://sebastianruder.com/multi-task/ 1. 前言 在機器學習中，我們通常關心優化某一特定指標，不管這個指標是一個標準值，還是企業KPI。為了達到這個目標，我們訓練單一模型或多個模型集合來完成指定得任務。然後，我們通過精細調參，來改進模型直至效能不再

Multi-task Correlation Particle Filter for Robust Object Tracking--論文隨筆

　　摘要：在這篇論文中，作者提出一種魯棒視覺跟蹤的多工相關粒子濾波琪跟蹤演算法（MCPF)。作者首先向我們展示了多工相關濾波器，該濾波器在訓練濾波器模板的時候可以學習不同特徵之間的聯絡。本文提出的MCPF旨在挖掘MCF和粒子濾波的效能，同時使其二者互補。與現存的相關濾波器和粒子濾波器相比，本文提出的演算法有以

Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classifi

Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification (多工網路中的完全自適應特徵共享及其在人屬性分類中的應用 ) 原文連結：Fully

多工學習 Multi-task learning

利用歷史資料中的有用資訊來幫助分析未來資料的機器學習，通常需要大量有標籤資料才能訓練出一個優良的學習器。深度學習模型是一種典型的機器學習模型，因為這類模型是帶有很多隱藏層和很多引數的神經網路，所以通常需要數以百萬計的資料樣本才能學習得到準確的引數。但是，包括醫學影象分析在內的一些應用無法滿足這種資料

「Computer Vision」Notes on Multi-Region CNN

QQ Group: 428014259 Sina Weibo：小鋒子Shawn Tencent E-mail：[email protected] http://blog.csdn.net/dgyuanshaofeng/article/details/83834303 [1]

Recurrent Neural Network for Text Classification with Multi-Task Learning

引言 Pengfei Liu等人在2016年的IJCAI上發表的論文，論文提到已存在的網路都是針對單一任務進行訓練，但是這種模型都存在問題，即缺少標註資料，當然這是任何機器學習任務都面臨的問題。 為了應對資料量少，常用的方法是使用一個無監督的預訓練模型，比如詞向量，實驗中也取得了不錯

An Overview of Multi-Task Learning in Deep Neural Networks

在人類學習中，不同學科之間的往往能起到相互促進的作用。那麼，對於機器學習是否也是這樣的，我們不僅僅讓它專注於學習一個任務，而是讓它學習多個相關的任務，是否可以讓機器在各個任務之間融會貫通，從而提高在主任務上面的結果呢? 1.multi-task的兩種形式 前面的層是權

A Summary of Multi-task Learning

A Summary of Multi-task Learning author by Yubo Feng. Intro In this paper[0], the introduction of multi-task learning through the data hungry, the most

Python tornado multi task

透過 IOLoop 的add_callback + self.finish() 可以讓 tornado 繼續在背景工作，但有一個問題是前一個工作太忙，會造成整個伺服器無法接受新的 request. 這要寫的有效率，似乎滿難的。 發現把某一個 function 加入 @gen.coroutine，主程式遇到這

Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks 論文閱讀

一、概述 本文提出了一個多工的人臉檢測模型，可以同時進行人臉檢測和人臉特徵點提取。這個框架主要由三個CNN級聯的方式實現。 stage1：通過一個淺的CNN來產生一些候選框 stage2：通過一個較複雜的CNN，對候選框進一步刪選得到更精細的區域 stage3：通過一個強大

Multi-task learning（多工學習）簡介

1. 什麼是Multi-task learning？ Multi-tasklearning （多工學習）是和single-task learning （單任務學習）相對的一種機器學習方法。拿大家經常使用的school data做個簡單的對比，school data是用來預測

Multi-Task GANs for View-Specific Feature Learning in Gait Recognition論文翻譯以及理解

Multi-Task GANs for View-Specific Feature Learning in Gait Recognition論文翻譯以及理解 今天想嘗試一下翻譯一篇自己讀的論文。寫的不好，後續慢慢改進。 Abstract  Abstract— Gait rec

遷移學習（transfer learning）、多工學習（multi-task learning）、深度學習（deep learning）概念摘抄

本文在寫作過程中參考了諸多前輩的部落格、論文、筆記等。由於人數太多，在此不一一列出，若有侵權，敬請告知，方便我進行刪改，謝謝！！！ 遷移學習（Transfer Learning） 遷移學習出現的背景如下：在一些新興領域很難得到我們需要的大量的訓練資料，另外，傳統的機器學習

MDNet（multi domain CNN用於視覺跟蹤）--原始碼詳解--mdnet_features_fcX.m

該函式，輸入全連線網路的網路引數、卷積層網路的輸出，計算全連線網路的計算結果，原始檔如下： function [ feat ] = mdnet_features_fcX(net, ims, opts) % MDNET_FEATURES_FCX % Compute CNN s

SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network

SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network 基於多工GAN的細小物體檢測 摘要 物體檢測是計算機視覺中的一個基本而重要的問題。雖然在大規模檢測基準（例如COCO資料集）中對

Collection | Multi-task learning & Transfer learning

lis ted eat ear 任務 dap 通過 初始化 即使 目錄 Multi-task learning Transfer learning 可遷移性 How tra