1. 程式人生 > >基於深度學習的影象質量排序

基於深度學習的影象質量排序

國內外各大網際網路公司(比如騰訊、阿里和Yelp)的線上廣告業務都在關注展示什麼樣的影象能吸引更多點選。在美團,商家的首圖是由商家或運營人工指定的,如何選擇首圖才能更好地吸引使用者呢?影象質量排序演算法目標就是做到自動選擇更優質的首圖,以吸引使用者點選。

傳統的影象質量排序方法主要從美學角度進行質量評價,通過顏色統計、主體分佈、構圖等來分析圖片的美感。但在實際業務場景中,使用者對圖片質量優劣的判斷主觀性很強,難以形成統一的評價標準。比如:

  1. 有的使用者對清晰度或解析度更敏感;
  2. 有的使用者對色彩或構圖更敏感;
  3. 有的使用者偏愛有視覺衝擊力的內容而非平淡無奇的環境圖。

因此我們使用深度學習方法,去挖掘圖片的哪些屬性會影響使用者的判斷,以及如何有效融合這些屬性對圖片進行評價。

我們使用AlexNet去提取圖片的高層語義描述,學習美感、可記憶度、吸引度、品類等High Level特徵,並補充人工設計的Low Level特徵(比如色彩、銳度、對比度、角點)。在獲得這些特徵後,訓練一個淺層神經網路對影象整體打分。該框架(如圖2所示)的一個特點是聯合了深度學習特徵與傳統特徵,既引入高層語義又保留了低層通用描述,既包括全域性特徵又有區域性特徵。

                                 圖2 影象質量排序技術框架

對於每個維度圖片屬性的學習,都需要大量的標籤資料來支撐,但完全通過人工標記代價極大,因此我們借鑑了美團的圖片來源和POI標籤體系。關於吸引度屬性的學習,我們選取了美團Deal相簿中點選率高的圖片(多數是攝影師通過單反相機拍攝)作為正例,而選取UGC相簿中點選率低的圖片(多數是低端手機拍攝)作為負例。關於品類屬性的學習,我們將美團一級品類和常見二級品類作為圖片標籤。基於上述質量排序模型,我們為廣告POI挑選最合適的優質首圖進行展示,起到吸引使用者點選,提高業務指標的目的。圖3給出了基於質量排序的首圖優選結果。

                          圖3 基於影象質量排序的首圖優選