DeepFashion: Powering Robust Clothes Recognition and

 Retrieval with Rich Annotations （CVPR 2016）

介紹了衣服識別和搜尋，同樣是與例項搜尋相關的任務，來自於香港中文大學Ziwei Liu等人的工作。首先，本篇文章介紹了一個名為DeepFashion的衣服資料庫。該資料庫包含超過800K張的衣服圖片，50個細粒度類別和1000個屬性，並還額外提供衣服的關鍵點和跨姿態/跨領域的衣服對關係（cross-pose/cross-domain pair correspondences）

然後為了說明該資料庫的效果，作者提出了一種新穎的深度學習網路，FashionNet——通過聯合預測衣服的關鍵點和屬性，學習得到更具區分性的特徵。該網路的總體框架如下所示：

FashionNet的前向計算過程總共分為三個階段：第一個階段，將一張衣服圖片輸入到網路中的藍色分支，去預測衣服的關鍵點是否可見和位置。第二個階段，根據在上一步預測的關鍵點位置，關鍵點池化層（landmark pooling layer）得到衣服的區域性特徵。第三個階段，將“fc6 global”層的全域性特徵和“fc6 local”的區域性特徵拼接在一起組成“fc7_fusion”，作為最終的影象特徵。FashionNet引入了四種損失函式，並採用一種迭代訓練的方式去優化。這些損失分別為：迴歸損失對應於關鍵點定位，softmax損失對應於關鍵點是否可見和衣服類別，交叉熵損失函式對應屬性預測和三元組損失函式對應於衣服之間的相似度學習。作者分別從衣服分類，屬性預測和衣服搜尋這三個方面，將FashionNet與其他方法相比較，都取得了明顯更好的效果。