• • 系統組成
    • 影象採集
    • 影象處理
    • 影象識別
  • 裝置
    • 光源
    • 感測器
      • 模擬相機和數字相機
      • 普通攝像頭
      • 深度攝像頭
        • 關鍵技術規格
        • 作用
      • 光場相機
      • 魚眼鏡頭
    • 視覺處理器
  • 核心技術
    • 相機標定
    • 數字影象處理
    • 立體視覺
      • 組成部分
      • 結構光單目
        • Microsoft Kinect V1
        • 深圳奧比中光科技有限公司
      • 雙目視覺雙目可見光雙目RGB
        • LeapMotion
        • 上海圖漾資訊科技有限公司雙目結構光
        • 大疆的無人機
        • 雙目立體視覺演算法
      • 飛行時間法
        • 硬體
        • 評價
    • 三維重建
    • 視覺SLAM
  • 相關專案
    • 微軟Kinect
    • 英特爾RealSense
    • 谷歌Project Tango
  • 應用領域

系統組成

影象採集

• 照明系統：背向照明、前向照明、結構光、頻閃光
• 影象聚焦形成
• 影象確定和形成攝像機輸出訊號

影象處理

影象識別

裝置

光源

• 白熾燈
• 日光燈
• 水銀燈
• 鈉光燈

感測器

模擬相機和數字相機

• 模擬相機：通過PCI介面的視訊採集卡將模擬訊號轉換為數字訊號
• 數字相機：介面有USB介面和RJ45介面（通過SDK獲取網路資料包並解壓）

普通攝像頭

• 引數：視場角FOV（鏡頭）、焦距、解析度、幀率、曝光、增益、飽和度
• 組成
  
  • 鏡頭：定焦鏡頭
  • 感測器（CCD / CMOS）：由畫素陣列組成，決定了該攝像頭的最大解析度，如果影象解析度大於攝像頭最大解析度，則是由於軟體插值；畫素單元包括微鏡頭（過濾）和感光原件（光電轉換和曝光）；Raw Data，即Bayer格式資料
  • DSP：Raw Data經DSP處理形成最終的圖片或視訊
• 分類
  
  • 黑白攝像頭
  • RGB攝像頭：輸出彩色影象
  • 紅外攝像頭

深度攝像頭

關鍵技術規格

• 檢測範圍，看最大檢測距離
• 檢測精度，看誤差多少
• 檢測角度，看鏡頭的視角多大
• 檢測速度，每秒能重新整理多少次

作用

使用立體視覺的原理（stereo，MVS）來估計深度

光場相機

魚眼鏡頭

視覺處理器

核心技術

相機標定

張正友相機標定原理

數字影象處理

影象預處理、影象分析、影象識別

立體視覺

組成部分

• 攝像機模型
• 影象獲取
• 特徵提取
• 影象匹配
• 深度計算

結構光（單目）

Microsoft Kinect V1

Depth Sensors(IR Projector, IR Camera), Color Camera

深圳奧比中光科技有限公司

• 深度感測器（紅外投影、紅外攝像頭） 、RGB攝像頭
• 評價
  
  • 採用三角視差測距，基線長度（光源與鏡頭光心的距離）越長越好
  • 容易受光照的影響
  • 目前最主流的機器視覺工程化實現方法

雙目視覺（雙目可見光/雙目RGB）

LeapMotion

上海圖漾資訊科技有限公司（雙目+結構光）

CEO：費浙平，兩個紅外攝像頭加一個鐳射器進行深度資訊測量

大疆的無人機

雙目立體視覺演算法

• 雙目標定
  
  • 利用已知世界座標系（標定板）和影象座標系（對標定板影象處理後結果）的對應關係,確認了雙相機、鏡頭的引數矩陣，得到平移向量和旋轉矩陣
  • 事實上，在雙目標定前，還需要對每個相機做單相機標定，以確定其畸變係數、相機內參矩陣等；這樣做的目的是為了使左右相機獲取到的影象都能校正為標準影象後再進行處理
• 立體匹配
  
  • 根據特徵點在左右影象中的座標點進行基礎矩陣的計算並將左右影象的同名座標點一一對應
• 特徵檢測

飛行時間法

3DV Systems公司研發的技術

硬體

• 深度感測器：投射脈衝變調紅外線的Porjector、紅外線Camera
• 彩色攝像頭

評價

• 相對結構光和純雙目攝像頭來說最好的一種技術，受環境影響小
• 感測器晶片並不成熟 ，成本很高，實現量產困難，並且解析度很低
• 簡單的避障和視覺導航，但不適合要求精 度高些的場景

三維重建

• 三維軟體建模：3DMax、AutoCAD、UG
• 通過儀器裝置測量建模
• 利用影象或者視訊來建模：SFM

視覺SLAM

相關專案

微軟Kinect

• Kinect for Windows的現行版（Kinect V1）
• 次世代型的開發者預覽版（Kinect V2）
• 應用於Xbox 360 主機的周邊裝置

英特爾RealSense

• 對無人機進行視覺導航
• 理念：計算、互動應該更加自然

谷歌Project Tango

• 利用深度攝像頭進行機器人室內導航

應用領域

• AR/VR/MR
• 行為捕捉和分析
• 立體測量