• 概述
  • 三維重建
  • 光學三維測量
    • 被動三維測量
    • 主動三維測量
• 基於PMP的結構光三維測量技術
  • 結構光生成與投射
    • 結構光生成
    • 光柵非正弦性
  • 相位計算
    • 相位主值計算
    • 相位展開
  • DMD影象座標計算
  • 影象矯正
  • 重建三維座標
  • 新增彩色紋理
  • 三維點雲處理
• 系統精度評估
  • 標定精度評估
  • 測量精度評估
• 參考文獻
• 附錄

概述

本文是在讀了論文《基於數字光柵投影的結構光三維測量技術與系統研究》[1]之後做的學習總結，方便自己學習，同時與博友共享，共同提高！

三維重建

三維重建（3D Reconstruction）是指利用二維投影恢復物體三維資訊的數學過程和計算機技術，包括資料獲取、預處理、點雲拼接和特徵分析等步驟。
三維重建過程：影象獲取、攝像機標定、特徵提取、立體匹配和三維重建。

光學三維測量

光學三維測量主要分為被動三維測量（無結構光）和主動三維測量（有結構光）兩種：

被動三維測量

主要過程：多幅二維影象–>計算出特徵點–>重建三維特徵點–>特徵點濾波–>得到三維模型。

主動三維測量

• 結構光的作用：增加三維物體的紋理資訊；
• 雙目視覺系統：將投影儀當作一個逆向的相機，通過建立投影儀影象和相機影象的對應關係，將投影儀標定轉換為成熟的相機標定，從而將單相機結構光三維測量系統轉換為經典的雙目視覺系統；
• 主要測量方法：鐳射掃描法（LS）、傅立葉變換輪廓術（FTP）、相位測量輪廓術（PMP）、彩色編碼條紋投影法（CFP）等。

基於PMP的結構光三維測量技術

本文所講的三維測量方法用的是主動三維測量中的相位測量輪廓術（PMP）。
測量時，投影儀將一幅或一組正弦光柵條紋投影到空間中，形成投影條紋，攝像機拍攝到被測物體表面，得到條紋影象，根據影象獲得相位分佈情況進行三維重建。
整體架構參見附錄《結構光三維測量原理圖》。

結構光生成與投射

• 水平方向光柵條紋影象12幅：不同頻率3組，每組不同相移的4幅影象
• 豎直方向光柵條紋影象12幅：不同頻率3組，每組不同相移的4幅影象

結構光生成

由計算機生成併發送到投影儀的光柵影象的灰度分佈為：

$$I(u,v) = a + bcos(\theta(u,v)), \theta(u,v) = \phi(u,v)+ \alpha$$
其中， $(u,v)$表示投影面投影畫素單元的座標， $I(u,v)$為 $(u,v)$點的灰度值，a和b分別為正弦光柵的直流基波分量（光強背景值）和振幅（調製光強）， $\theta(u,v)$為 $I(u,v)$對應的光柵相位， $\phi$為待求相位主值， $\alpha$為相位位移。

光柵非正弦性

由於環境光的影響，投影光柵在波峰和波谷處出現平臺現象[2]。

相位計算

相位主值計算

相位主值即相對相位值，本文采用標準的四步相移法計算光柵影象的相位主值。
利用頻率相同四幅光柵影象計算出一幅相位主值影象，四幅光柵影象的光強表示式為：

$$I_i(u,v) = a + bcos(\theta_i(u,v)), \theta_i(u,v) = \phi(u,v) + \frac{\pi}{2}i, i \in \{0,1,2,3\}$$
則光柵影象的相位主值為：
$$\phi(u,v) = arctan( \frac{I_3-I_1}{I_0-I_2} )$$
程式設計中，一般使用atan2方法：
$$\phi(u,v) = atan2(I_3-I_1, I_0-I_2 )$$
最終，12幅水平條紋光柵影象計算出3幅水平相位主值影象，12幅豎直條紋光柵影象計算出3幅豎直相位主值影象。

相位展開

相位展開，又稱解包裹，計算其絕對相位值。本文利用三頻外差原理計算其絕對相位值。
最終，根據上步計算出的3幅水平相位主值影象計算出1幅水平絕對相位值影象，根據上步計算出的3幅豎直相位主值影象計算出1幅豎直絕對相位值影象。

DMD影象座標計算

根據一個方向的絕對相位值，可以確定DMD影象中的一條垂直線或水平線；則根據水平和垂直兩個方向的絕對相位值，可以確定DMD影象中的一個點。
通過豎直和水平光柵條紋的CCD影象（相機影象）中的點$(u_c,v_c)$，可以確定DMD影象（投影儀影象）中對應的一個點$(u_p,v_p)$，該點座標可用如下公式計算。

$$\begin{cases} u_p = \frac{\Phi_v(u_c,v_c)}{N_v \cdot 2\pi} \cdot W \\ v_p = \frac{\Phi_h(u_c,v_c)}{N_h \cdot 2\pi} \cdot H \end{cases}$$
其中， $\Phi_v$和 $\Phi_h$分別為CCD光柵影象中 $(u_c,v_c)$點處豎直和水平方向的絕對相位值， $N_v$和 $N_h$分別為豎直和水平CCD光柵影象中光柵條紋數，H和W分別為CCD光柵影象豎直和水平方向解析度。

影象矯正

對$(u_c,v_c)$和$(u_p,v_p)$使用預先標定出的系統畸變引數進行矯正，二階徑向畸變矯正公式如下。

$$\left\{ \begin{aligned} \bar u = u + (u-u_0)[k_1(x^2+y^2) + k_2(x^2+y^2)^2] \\ \bar v = v + (v-v_0)[k_1(x^2+y^2) + k_2(x^2+y^2)^2] \end{aligned} \right.$$

重建三維座標

投影測量和計算機視覺中總是利用兩張或兩張以上的影象恢復物體的三維座標。
本文根據矯正後的CCD影象和DMD影象座標$(u_c,v_c)$和$(u_p,v_p)$，以及預先相機標定出的系統內參和外參，計算出對應的三維座標（世界座標）。

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪sc⎡⎣⎢ucvc1⎤⎦⎥=Ac[Rctc]⎡⎣⎢⎢⎢Xw

相關推薦

基於數字光柵投影的結構光三維測量技術（總結）

概述 三維重建 光學三維測量 被動三維測量 主動三維測量 基於PMP的結構光三維測量技術 結

三維重建技術（2）各種方法簡介

轉自：三維重建技術 各種方法簡介, G換一種活法 這個博主也是轉載的，可是來源不可查，所以暫把來源寫為這個博主的部落格 三維重建技術通過深度資料獲取、預處理、點雲配準與融合、生成表面等過程，把真實場景刻畫成符合計算機邏輯表達的數學模型。這種模型可以對如文物保護、

多頻外差法三維重建 結構光三維重建

                                                                    結構光三維重建--多頻外差       結構光三維重建主要的原理就是從投影儀中投射一定頻率的結構光，這種光跟以前採用的格雷碼方式不同，它具

如何製作一臺雙目結構光三維掃描器（一）

本文由作者原創，禁止轉載！（一）原理簡述與硬體裝置與模組劃分寫在前面的話從2017年秋到2019年夏，從事三維掃描方向的研究也快滿兩年了。從最初的大三小白到製成一臺線鐳射三維掃描器再到畢設期間完成的雙目結構光三維掃描器，我似乎學到了許多知識，但仔細想想卻又發現可堪用者寥寥。所以計劃在此將之前的研究做一個總結

SFM三維重建原始碼（Matlab）

這裡採用的是Yi Ma , Stefano Soatto. An Invitation to 3-D Vision , From Images to Geometric Models 的演算法 %// Algorithm 8.1. also 

三維重建學習（一）特徵提取和追蹤

前言 今年大三，7月份來到澳洲國立大學（ANU）留學讀雙學位，在這的第一個學期就申請了Research and Development Project，有幸能夠跟隨導師做一個關於3D重建的專案。具體專案是基於一篇ICCV2015的論文《High Quality Struct

三維計算機視覺（七）--Spin image

Spin image是基於點雲空間分佈的最經典的特徵描述方法。 Spin image的思想是將一定區域的點雲分佈轉換成二維的spin image​，然後對場景和模型的spin image​s進行相似性度量。原理圖如下： 大寫P------三維網格某頂點p的切面 n-

Python科學計算三維視覺化（1） ——TVTK庫入門

最近在中國大學MOOC網上學習python科學計算三維視覺化相關知識，記錄下來，以供參考。 科學視覺化基礎 科學計算的視覺化方法 二維標量資料場 1.1 顏色對映方法 1.2 等值線方法 1.3 立體圖法和層次分割法 三維標量

建立直線（Line），PolyLine，及三維多線段（PolyLine3d）

Imports ZwSoft.ZwCAD.Runtime Imports ZwSoft.ZwCAD.ApplicationServices Imports ZwSoft.ZwCAD.DatabaseServices Imports ZwSoft.ZwCAD.Geometry

三維計算機視覺（五）--特徵描述子

PPF 機器人視覺中有一項重要人物就是從場景中提取物體的位置，姿態。影象處理演算法藉助Deep Learning 的東風已經在影象的物體標記領域耍的飛起了。而從三維場景中提取物體還有待研究。目前已有的思路是先提取關鍵點，再使用各種區域性特徵描述子對關鍵點進行描述，最後與待檢

基於HTTP協議的幾種實時資料獲取技術（轉）

轉載自五月的倉頡 HTTP協議 HTTP協議是建立在TCP協議上的應用層協議，協議的本質是請求----應答： 即對於HTTP協議來說，服務端給一次響應後整個請求就結束了，這是HTTP請求最大的特點，也是由於這個特點，HTTP請求無法做到的是服務端向客戶端主動推送資料。 但由於H

基於結構光的三維測量學習筆記

1.幾種比較成熟的方法 1.1飛行時間發 原理：通過直接測量光傳播的時間，確定物體的面型。發射脈衝訊號，接受發射回的光，計算距離。 精度：毫米級 優點：原理簡單，可避免陰影和遮擋等問題，且儀器便攜化。 缺點：精度相對較低 1.2莫爾條紋法 原理：採用兩組光

【視覺-三維視覺技術-理論篇】三維視覺技術----雙目立體視覺，結構光等-戰略總結0

作者冀然 摘要 結構光三維測量技術是解決非接觸三維測量問題的一個有效途徑，它彌補了傳統機器視覺以二維強度影象恢復三維景物的過程中損失了深度資訊的缺陷，可實現對三維景物的完整描述。 本文

基於WebGL架構的3D視覺化平臺—三維裝置管理（ThingJS實現裝置管理3D視覺化）

國內高層建築不斷興建，它的特點是高度高、層數多、體量大。面積可達幾萬平方米到幾十萬平方米。這些建築都是一個個龐然大物，高高的聳立在地面上，這是它的外觀，而隨之帶來的內部的建築裝置也是大量的。為了提高裝置利用率，合理地使用能源，加強對建築裝置狀態的監視等，自然地就提出了樓宇自動化控制系統。下面我們將用Thing

基於three.js的免費開源三維編輯器ShadowEditor簡介

基於three.js的線上3D場景編輯器，可直接在瀏覽器訪問，使用mongodb儲存3D模型和場景資料。 主要功能： 3D場景線上編輯。 內建多種幾何體、光源，支援霧效、陰影、反光、背景圖等。 支援多種不同格式的3D模型。 服務端使用MongoDB儲存模型和場景資料。 視覺化修改場景

基於計算著色器實現BlendShape三維人臉表情動畫驅動

為什麼要用計算著色器呢？ 因為人臉表情基模型頂點數實在是太多了，而且有不止一個模型，動畫越精細，表情基模型越多，這個時候僅僅用CPU計算顯然是不夠的，所以就開始上GPU了，平行計算。 直接上計算著色器的

雙目三維重建—基於特徵點匹配的被動式三維重建（OpenCV+OpenGL）

首先我們先來看一下三維重建的效果圖： 本博文參考了該博主的的核心程式碼，並針對該博主博文中宣告的一些BUG進行了修正： 本文主要從如何配置環境方面進行介紹，後期會更新基於攝像頭實際抓圖的三維重建 相機抓取的相片原圖： 首先是本文的執行環境：Wi

【計算機視覺】從運動中恢復結構SfM 三維重建-輸入重建

Code #include <iostream> using namespace std; using namespace cv; using namespace cv::sfm; static void help() { cout << "\n----

基於PCL實現拾取螢幕三維點座標（暫未解決，待更新）

該功能暫未實現，誠邀大神指點，感激不盡！ 目錄： 問題介紹 本人基於PCL1.8.0+Qt5.7.0+VS2013開發三維點雲資料處理軟體，其中一項功能是拾取螢幕三維點座標，並將其三維座標顯示在一個子視窗對話方塊中。 功能流程描述 主視

洛谷 P3810 【模板】三維偏序（陌上花開） (cdq分治模板)

三維 答案 就是 mes esp while lowbit -- cst 在solve(L,R)中，需要先分治solve兩個子區間，再計算左邊區間修改對右邊區間詢問的貢獻。 註意，計算額外的貢獻時，兩子區間各自內部的順序變得不再重要（不管怎麽樣左邊區間的都發生在右邊之前）