• 摘要

　　由於其對高維視覺特征進行編碼的有效性，乘積量化已被廣泛用於快速圖像檢索。 通過將硬分配擴展到軟分配，我們可以將乘積量化作為卷積神經網絡的一層進行合並，並提出我們的乘積量化網絡。 同時，我們提出了一種新的非對稱triplet損失，它有效地提高了基於非對稱相似性的所提出的乘積量化網絡的檢索精度。 通過所提出的乘積量化網絡，我們可以以端到端的方式獲得辨別和緊湊的圖像表示，這進一步實現了快速和準確的圖像檢索。 在公共基準數據集上進行的綜合實驗證明了所提出的乘積量化網絡的最新性能。

• 簡介

　　在本文中，我們還嘗試將乘積量化結合到神經網絡中，並以端到端的方式對其進行訓練。我們提出了一種可微分的軟乘積量化層，當α→∞時，原始乘積量化是所提出的軟乘積量化的特例。與DPQ不同，我們不再需要完全連接的層來獲得碼本分配，相反，在我們的方法中，碼字分配由原始特征和碼字之間的相似性確定。因此，與DPQ相比，我們顯著減少了要訓練的參數數量，使我們的PQN對過度擬合更具免疫力。同時，受到度量學習中triplet loss 的成功以及特征壓縮中非對稱相似性度量的成功的啟發，我們提出了一種新的非對稱三元組損耗，以端到端的方式直接優化非對稱相似性度量。總之，我們的工作貢獻有三方面：

　　- 我們介紹了一種新穎的軟乘積量化層，它是原始乘積量化的一般化版本。 它是可微分的，因此帶來了乘積量化網絡的端到端訓練。
　　- 我們提出了一種新穎的不對稱triplet loss，它直接優化了基於乘積量化帶來的不對稱距離。 它可以更有效地訓練卷積神經網絡。
　　- 由於其簡單，有效和高效，我們為圖像檢索社區提供了強大的baseline。 可以在所提出的框架上進一步構建一些更復雜的圖像檢索方法。

• 與其他模型的關系

　　DQN [6]是將乘積量化納入神經網絡的第一次嘗試。 它可以優化碼字和網絡的其他參數。 值得註意的是，在更新碼字時，它只通過k均值最小化量化誤差。 因此，在學習碼字時，忽略監督信息並且解決方案可能是次優的。

　　SUBIC [16]在深度神經網絡中集成了one-hot編碼層。 它遵循乘積量化的精神，通過one-hot塊的乘積來表示每個圖像。 然而，稀疏屬性限制了它的表示能力，其表現不如我們。

　　DPQ [20]是將乘積量化結合到神經網絡中的另一種嘗試。 它通過兩個完全連接的層級聯確定碼字分配。 相反，我們的方法根據原始特征和碼字之間的相似性來確定碼字分配。 請註意，DPQ中這兩個完全連接層的附加參數不僅增加了訓練神經網絡的計算復雜度，而且更容易過度擬合。 我們的實驗表明，我們提出的PQN明顯優於DPQ。

• 模型框架

Product Quantization Network for Fast Image Retrieval 論文筆記