轉自：https://blog.csdn.net/Gerwels_JI/article/details/82990189

【深度學習之圖像理解】圖像分類、物體檢測、物體分割、實例分割、語義分割的區別

Directions in the CV

• 物體分割(Object segment)屬於圖像理解範疇。那什麽是圖像理解？Image Understanding (IU) 領域包含眾多sub-domains，如圖像分類、物體檢測、物體分割、實例分割等若幹問題。每個問題研究的範疇是什麽？每個問題中，各個approach對應的the result of processing是什麽？
• Image Understanding (IU) is an interdisciplinary approach which fuse computer science, mathematics, engineering science, physics, neurosciences, and cognitive science etc. together.
• 一般我們將CV分為三個大方向：圖像處理、圖像分析、圖像理解。其中圖像理解分為以下三個部分
• Image Classification:
  即是將圖像結構化為某一類別的信息，用事先確定好的類別（string）或實例ID來描述圖片。其中ImageNet是最權威的測評集，每年的ILSVRC催生大量優秀的深度網絡結構，為其他任務提供基礎，在應用領域，人臉、場景識別都可以視為分類任務。
• Detection
  分類任務關心整體，給出的是整張圖片的內容描述，而檢測則關註特定的物體目標，要求獲得這一目標的類別信息和位置信息。相比分類，檢測給出的是對圖片前景和背景的理解，我們需要從背景中分離出感興趣的目標，並確定這一目標的描述（類別和位置），因而檢測模型的輸出是一個列表，列表的每一項使用一個數據組給出檢出目標的類別和位置，常用矩形檢測框的坐標表示。
• Segmentation
  分割包括語義分割（semantic segmentation）和實例分割（instance segmentation），前者是對背景分離的拓展，要求分離開具有不同語義的圖像部分，而後者是檢測任務的拓展，要求描述出目標的輪廓（相比檢測框更為精細）。分割是對圖像的像素級描述，它賦予每個像素類別意義，適用於理解要求較高的場景，如無人駕駛中對道路和非道路的分割。

後期我會寫CV綜述，此處留坑占位！
也會對object segmentation的方法進行總結，占坑！

Image Classification

• The task of object classification requires binary labels indicating whether objects are present in an image.
• Definition：Image Classification根據image中不同圖像信息中不同的feature，把不同類別的object region進行分類。
• 該任務需要我們對出現在某幅圖像中的物體做標註。
• 例如：一共有1000個物體類的image中，某個物體要麽有，要麽沒有。可實現：輸入一幅測試圖片，輸出該圖片中物體類別的候選集。如下圖所示，不同形狀的圖形，通過分類分成了8類
  

Object localization (目標定位)

• 在圖像分類的基礎上，我們還想知道圖像中的目標具體在圖像的什麽位置，通常是以邊界框的(bounding box)形式。
• 基本思路

1. 多任務學習，網絡帶有兩個輸出分支。一個分支用於做圖像分類，即全連接+softmax判斷目標類別，和單純圖像分類區別在於這裏還另外需要一個“背景”類。另一個分支用於判斷目標位置，即完成回歸任務輸出四個數字標記bounding box位置(例如中心點橫縱坐標和包圍盒長寬)，該分支輸出結果只有在分類分支判斷不為“背景”時才使用。
2. 人體位姿定位/人臉定位
   目標定位的思路也可以用於人體位姿定位或人臉定位。這兩者都需要我們對一系列的人體關節或人臉關鍵點進行回歸。
3. 弱監督定位
   由於目標定位是相對比較簡單的任務，近期的研究熱點是在只有標記信息的條件下進行目標定位。其基本思路是從卷積結果中找到一些較高響應的顯著性區域，認為這個區域對應圖像中的目標。

Object detection(目標檢測)

• Detecting an object entails both stating that an object belonging to a specified class is present, and localizing it in the image. The location of an object is typically represented by a bounding box.
• 理解：object detection=classification+localization
• 定義：物體探測包含兩個問題，一是判斷屬於某個特定類的物體是否出現在圖中；二是對該物體定位，定位常用表征就是物體的邊界框(bounding box)。
• 可實現：輸入測試圖片，輸出檢測到的物體類別和位置。如下圖，移動的皮卡丘和恐龍
• 
  

語義分割(Semantic Segmentation)

• The task of labeling semantic objects in a scene requires that each pixel of an image be labeled as belonging to a category, such as sky, chair, floor, street, etc. In contrast to the detection task, individual instances of objects do not need to be segmented.
• 語義標註(Semantic scene labeling)/分割(segmentation)：該任務需要將圖中每一點像素標註為某個物體類別。同一物體的不同實例不需要單獨分割出來。

Instance segmentation

• instance segment = object detect +semantic segment
• 相對物體檢測的邊界框，實例分割可精確到物體的邊緣；相對語義分割，實例分割可以標註出圖上同一物體的不同個體
• 分類任務通常來說就是識別出包含單個對象的圖像是什麽，但在分割實例時，我們需要執行更復雜的任務。我們會看到多個重疊物體和不同背景的復雜景象，我們不僅需要將這些不同的對象進行分類，而且還要確定對象的邊界、差異和彼此之間的關系！
• 如下圖所示，把不同的實例對象進行了分割，並用不同的顏色進行邊緣標註（而不是邊框標註）
  
  

Some examples

綜述

圖像理解領域中的object segmentation方向包括了：image classification、object localization、object detection、semantic segmentation、instance-level segmentation。分類復雜度依次遞增，分類詳細程度依次遞增。

若幹參考資料：

1. https://blog.csdn.net/niaolianjiulin/article/details/52948274?utm_source=copy
2. https://blog.csdn.net/np4rHI455vg29y2/article/details/79250952
3. https://www.jianshu.com/p/e3ec3f1ed6fc
4. https://yq.aliyun.com/articles/396373

轉：圖像分類、物體檢測、物體分割、實例分割、語義分割