[AutoCars（二）]基於計算機視覺的無人車感知
阿新 • • 發佈：2019-02-09
視覺 左右 學習 雙目 馬爾科夫 矢量 自身 關系 flow
立體視覺：從兩個或更多的視覺得到的圖像中建立對應關系。---基於多個攝像頭在同一時刻的圖片。
進展：Siamese神經網絡
5 物體的識別與追蹤
實時地識別與追蹤多個運動目標（車輛，行人）。
基於深度學習的物體識別：輸出有噪聲，如物體識別不穩定，物體被遮擋，物體短暫誤識別。
進展：基於馬爾科夫決策過程（MDP）的MOT算法：基於有噪聲的識別結果獲得魯棒的物體運動軌跡。
6 視覺裏程計算法
（1）基於拓撲與地標的算法：把所有的地標組成一個拓撲圖，當無人車監測到某個地標時，可以大致推斷自身的位置。
條件：建立精準的拓撲圖，比如將每個路口的標誌物做出地標。
（2）基於幾何的視覺裏程計算法：無需預先建立精準的拓撲圖，分成單目和雙目兩種。
單目：無法推算出觀察到的物體的大小，需要假設物體的初步大小，或結合其他傳感器（如陀螺儀）進行準確的定位。
雙目:通過左右圖的三角測量法計算出特征點的深度，然後從深度信息推算出物體的大小。
1 傳感器
無人車視覺傳感器：超聲波雷達（倒車）、毫米波雷達、LiDAR與攝像頭。
激光雷達精度，速度高（厘米級），成本高；毫米波雷達可適應惡劣天氣
2 KITTI數據集
（1）Stereo/Optical Flow數據集：兩個攝像頭
（2）視覺裏程測量數據集
（3）三維物體檢測數據集
（4）物體追蹤數據集
（5）路面與車道檢測數據集
3 計算機視覺能解決的問題：
（1）物體的識別與跟蹤：識別（深度學習）：行人、行駛空間、地標、紅綠燈、其他車輛；跟蹤：Optical Flow運動預測算法
（2）車輛的定位（基於拓撲與地標的算法，基於幾何的視覺裏程計算法）
4 Optical Flow和立體視覺
Optical Flow：圖片序列或視頻中像素級的密集對應關系，例如在每個像素上估算一個二維的偏移矢量，得到的Optical Flow以二維的矢量場表示。---基於單個攝像頭在連續時刻的圖像。
立體視覺：從兩個或更多的視覺得到的圖像中建立對應關系。---基於多個攝像頭在同一時刻的圖片。
進展：Siamese神經網絡
5 物體的識別與追蹤
實時地識別與追蹤多個運動目標（車輛，行人）。
基於深度學習的物體識別：輸出有噪聲，如物體識別不穩定，物體被遮擋，物體短暫誤識別。
進展：基於馬爾科夫決策過程（MDP）的MOT算法：基於有噪聲的識別結果獲得魯棒的物體運動軌跡。
6 視覺裏程計算法
（1）基於拓撲與地標的算法：把所有的地標組成一個拓撲圖，當無人車監測到某個地標時，可以大致推斷自身的位置。
條件：建立精準的拓撲圖，比如將每個路口的標誌物做出地標。
（2）基於幾何的視覺裏程計算法：無需預先建立精準的拓撲圖，分成單目和雙目兩種。
單目：無法推算出觀察到的物體的大小，需要假設物體的初步大小，或結合其他傳感器（如陀螺儀）進行準確的定位。
雙目:通過左右圖的三角測量法計算出特征點的深度，然後從深度信息推算出物體的大小。
[AutoCars（二）]基於計算機視覺的無人車感知