清華&商湯開源超高精度邊緣感知人臉對齊演算法 清華&商湯開源超高精度邊緣感知人臉對齊演算法
阿新 • • 發佈：2018-11-16
Look at Boundary: A Boundary-Aware Face Alignment Algorithm
https://wywu.github.io/projects/LAB/WFLW.html
清華&商湯開源超高精度邊緣感知人臉對齊演算法
2018年08月31日 22:39:21 nfzhlk 閱讀數：217 更多<div class="tags-box space"> <span class="label">個人分類：</span> <a class="tag-link" href="https://blog.csdn.net/nfzhlk/article/category/7361525" target="_blank">演算法 </a> </div> </div> <div class="operating"> </div> </div> </div> </div> <article> <div id="article_content" class="article_content clearfix csdn-tracking-statistics" data-pid="blog" data-mod="popu_307" data-dsm="post"> <div class="markdown_views prism-atom-one-dark"> <!-- flowchart 箭頭圖示 勿刪 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg> <p></p><article class="article__bd"><h1 class="article__bd__title" id="清華商湯開源超高精度邊緣感知人臉對齊演算法">清華&商湯開源超高精度邊緣感知人臉對齊演算法</h1><div class="article__bd__detail"><p><img src="https://xqimg.imedao.com/1657af1b0a5275583feaa16c.jpg" class="ke_img"></p> <p> 作者 | Wayne Wu 等 </p> <p> 譯者 | Zhiyong Liu </p> <p> 編輯 | Vincent </p> <p><b>AI 前線導讀：</b>人臉對齊是找到人臉位置之後，再找出人臉特徵點的位置，比如鼻子左側，鼻孔下側，瞳孔位置，上嘴脣下側等等點的位置。可以理解成面部特徵點定位或者人臉五官定位。這項技術的應用很廣泛，比如自動人臉識別，表情識別以及人臉動畫自動合成等。由於不同的姿態、表情、光照以及遮擋等因素的影響，準確地定位出各個關鍵特徵點看似很困難。來自中國的清華大學和商湯提出了新的人臉對齊的演算法，讓我們先從一部視訊開始：<b>更多優質內容請關注微信公眾號“AI 前線”（ID：ai-front）</b></p> <p><a href="https://v.qq.com/iframe/preview.html?vid=a07580d4402&width=500&height=375&auto=0" rel="nofollow" title="https://v.qq.com/iframe/preview.html?vid=a07580d4402&width=500&height=375&auto=0" target="_blank"></a><a href="https://v.qq.com/iframe/preview.html?vid=a07580d4402&width=500&height=375&auto=0" rel="nofollow" target="_blank">https://v.qq.com/iframe/preview.html?vid=a07580d4402&width=500&height=375&auto=0</a></p> <p>我們提出了一種新的邊緣感知人臉對齊（boundary-aware face alignment）演算法，利用邊緣作為面部的幾何結構，進行面部特徵點定位（facial landmark localisation）。與傳統的兩種方法（基於熱點和基於迴歸）不同，我們的方法是從邊緣提取面部特徵點，消除了特徵點定義的模糊性。我們在本文探討並回答如下三個問題： </p> <p>為什麼使用邊緣？</p> <p>如何使用邊緣？</p> <p>邊緣估計和特徵點定位之間有什麼關係？</p> <p>我們的邊緣感知人臉對齊演算法在 300-W Fullset 實現了 3.49% 的平均誤差，很大程度上，超過了目前最先進的方法。除此之外，我們的方法還可以很輕鬆地整合來自其他資料集的資訊。利用 300-W 資料集的邊緣資訊，我們的方法在 COFW 資料集上實現了 3.92% 的平均誤差，0.39% 的失效率；在 AFLW-Full 資料集實現了 1.25% 的平均誤差。另外，我們還提出了一種新型資料集“ Wider Facial Landmark in the Wild”（WFLW），統一以不同的因素進行訓練和測試，這些不同的因素包括姿勢、表情、照明、化妝、遮擋和模糊等。有關該系統的詳細說明，請參閱論文：<a href="https://wywu.github.io/projects/LAB/LAB.html" rel="nofollow" title="https://wywu.github.io/projects/LAB/LAB.html" target="_blank"></a><a href="https://wywu.github.io/projects/LAB/LAB.html" rel="nofollow" target="_blank">https://wywu.github.io/projects/LAB/LAB.html</a></p> <p><img src="https://xqimg.imedao.com/1657af1c9fd275b13fb081a0.jpg" class="ke_img"></p> <p> 引文 </p> <p>如果你要使用此程式碼或 WFLW 資料集進行研究，請引用我們的論文：</p> <p><img src="https://xqimg.imedao.com/1657af1dbf5275653fea6558.jpg" class="ke_img"></p> <p> 必備條件 </p> <p>Linux</p> <p>Python 2 或 3</p> <p>CPU 或 NVIDIA GPU + CUDA CuDNN</p> <p> 入門指南 </p> <p> 安裝 </p> <p>安裝 prerequisites for Caffe（<a href="http://caffe.berkeleyvision.org/installation.html#prequequisites" rel="nofollow" title="http://caffe.berkeleyvision.org/installation.html#prequequisites" target="_blank"></a><a href="http://caffe.berkeleyvision.org/installation.html#prequequisites" rel="nofollow" target="_blank">http://caffe.berkeleyvision.org/installation.html#prequequisites</a>）</p> <p>Modified-caffe for LAB（<a href="https://github.com/wywu/LAB.git" rel="nofollow" title="https://github.com/wywu/LAB.git" target="_blank"></a><a href="https://github.com/wywu/LAB.git" rel="nofollow" target="_blank">https://github.com/wywu/LAB.git</a>）</p> <p> 下載 Wider Facial Landmark in the Wild（WFLW）資料集 </p> <p>Wider Facial Landmark in-the-wild（WFLW）是我們新提出的面部資料集，包含了 10000 張面部（其中 7500 張用訓練，2500 張用於測試），98 個完全手動註釋的特徵點。</p> <p>WFLW Training 和 Testing images [Google Drive] [Baidu Drive]</p> <p>WFLW Face Annotations</p> <p>將上述兩個包解壓並放到./datasets/WFLW 資料夾</p> <p>只需執行如下指令碼即可下載 WFLW 的註釋：</p> <p><img src="https://xqimg.imedao.com/1657af1e822275683fe5ee99.jpg" class="ke_img"></p> <p> 在 WFLW 上測試 LAB </p> <p>我們提供了兩個預訓練模型：</p> <p>WFLW_final: 在論文中，最終模型對 WFLW 進行了評估。</p> <p>WFLW_wo_mp: 簡化的模型由於沒有訊息傳遞層，更易閱讀。</p> <p> 下載預訓練模型： </p> <p><img src="https://xqimg.imedao.com/1657af1f52b275c13febdc82.jpg" class="ke_img"></p> <p> 測試模型： </p> <p><img src="https://xqimg.imedao.com/1657af1fc69276cc3fed0c2f.jpg" class="ke_img"></p> <p>測試結果將以文字檔案的形式儲存到此資料夾中：./evaluation/WFLW/</p> <p> WFLW_final 模型在 WFLW 上的結果 </p> <p><img src="https://xqimg.imedao.com/1657af204482771f3fea5052.jpg" class="ke_img"></p> <p> 訓練 </p> <p>出於我們公司的安全考慮，很遺憾我們不能釋出訓練指令碼。但是，就訓練來說，你需要做的就是使用我們釋出的程式碼並新增本文中描述的資料進行擴充。以我們釋出的 prototxt 檔案作為參考，並利用本文中描述的超引數，完全可以輕鬆再現論文報告的效能。</p> <p>參考資料：</p> <p>Look at Boundary: A Boundary-Aware Face Alignment Algorithm （<a href="https://github.com/wywu/LAB" rel="nofollow" title="https://github.com/wywu/LAB" target="_blank"></a><a href="https://github.com/wywu/LAB" rel="nofollow" target="_blank">https://github.com/wywu/LAB</a>）</p> <p></p> <p>如果你喜歡這篇文章，或希望看到更多類似優質報道，記得給我留言和點贊哦！</p></div><!----></article><p></p>