最近導師讓做一個關於心臟的三維重構報告，查閱了很多的資料，這一塊感覺還是比較冷門的，所以更新一下，希望能夠幫助後來的童鞋~~~

1.調研背景 

1.1背景介紹

       近年來，CT、CR、DR、MRI、 US、PET、SPECT 等多種成像技術開始逐漸成熟並在醫學疾病診斷中獲得廣泛應用，而隨著人工智慧的興起，其在醫療領域能起到的作用也愈來愈明顯，特別是在醫學影像輔助診療方面具有廣闊的前景。

1.2醫療與人工智慧的例項

在文獻【1】中作者用CNN分析了將近13萬張臨床上的面板癌圖片，這個神經網路迅速成為了一名面板癌的專家。其演算法的效能是通過構建敏感性特異性曲線進行衡量的，其中敏感性代表著正確識別惡性病變的能力，特異性代表著正確識別良性病變的能力。其是通過三個關鍵性診斷任務進行評估的：角化細胞癌的分類、黑素瘤的分類和通過面板鏡檢查的黑素瘤分類。在所有的三個任務中，該演算法的表現媲美面板科醫生，靈敏度曲線之下的區域達到整個曲線圖區域的 91%。該演算法另外的優點是它的敏感效能進行調整，研究者可以根據他們想要評估的東西從而調整其響應度。這種改變敏感性的能力暗示著該演算法的深度與複雜性。看似無關照片中潛藏的架構——包括貓和狗的影象，都有助於演算法更好地評價面板病變影像。

在文獻【2】中，作者基於光學相干斷層成像（OCT）資料有效進行影象黃斑變性和糖尿病視網膜黃斑水腫的識別和嚴重性定量評估，建立了一個基於深度學習框架的用於篩查普通可治療的致盲性視網膜疾病的診斷工具。此外，論文還證明了該AI系統在用於胸部X射線影象診斷小兒肺炎方面具有普遍適用性。該工具的問世有望加速有關可治療性疾病的診斷，從而促進疾病的早治療，最終改善病人的臨床結果。這說明人工智慧診斷工具將非常有利於臨床上很多疾病的篩查，並且在所有醫學型別中建立更為有效的轉診系統。

這些資料都表明了智慧與醫療，正成為人工智慧時代重頭戲。為了促進人工智慧在醫療方面的發展，本文從深度學習對疾病的輔助診斷、三維四維構造心臟器官以及對病變的心血管做出預測等幾個方面展開調研。

本文在第一章介紹了醫學影像學與計算機技術的調研背景，在第二章著重介紹了三維重建以及在重構心臟方面的應用，在第三章介紹了四維重建心臟的方法，在第四章介紹了運用人工智慧知識對病變的心血管疾病做出判斷。

2．心血管影像的三維重建

2.1三維重建技術的相關概念

醫學影像三維重建技術就是將二維的序列切片影象重建出三維立體影象。醫學影象三維重構涉及到的研究內容包括:醫學影象資料的獲取、影象預處理、影象分割、視覺化對映、三維重建、顯示。隨著三維重建理論的不斷髮展，逐漸形成了面繪製和體繪製兩種主要的繪製方法。在綜合多篇文章和資料之後，本文將醫學的三維重建可以概括為以下過程：

2.2三維重建經典方法的總結

面繪製通過設定固定的閾值只繪製特定物體的表面資訊，因此計算量小繪製速度較快，但不能完全反映物體的內部細節。體繪製繪製速度較慢卻能更完整更全面地獲取物體的三維資訊，隨著計算機速度的不斷提升，體繪製速度也不斷提高，面繪製已經漸漸被體繪製所取代，在綜合大量資料之後，本文將關於各個繪製方法用如下表格來總結：

表2-1  三維重建經典方法總結比較

2.3改進的三維重構演算法

MC演算法是面繪製最經典最常用的演算法，而光線投影法是體繪製最常用最經典的演算法，本節選取這兩個經典重構演算法對其進行詳述以各自在GPU上的改進。可程式設計管線GPU的出現，利用其獨特的硬體結構加速了計算機上的各種圖形處在文獻【3】中，作者利用可程式設計圖形處理單元 GPU 對三維重建演算法進行加速，使得醫學影像三維重建系統實現快速高效的實時繪製。

2.3.1MC重構演算法及其基於GPU的程式設計

在上節表格的總結中，MC演算法適用大部分情況，且演算法效果較好，在文獻【4】中由Willian E.Lorensen 和Harvey E.Cline共同提出。其基本思想可以理解為用一個超大的長方體包住目標器官，再把這個大長方體，分成 A x B x C個一模一樣的小長方體。其中，每個平行於水平面的長方體截面就對應著一個CT斷層圖片，然後判斷小立方體的8個頂點分別是否在目標器官的內部。如果某個頂點在物體內部，那麼給這個頂點標上一個0，如果這頂點在物體外部，則給它標上一個1，得到一個的二值化圖。本文將其流程總結為如圖2-2所示：

圖形處理器 GPU 的出現，極大地提高了計算機影象處理的運算速度，因而在文獻【5】中，作者提出了基於GPU的MC演算法，本文將其流程概括為圖2-3所示：

2.3.2光影投影演算法及其基於GPU的程式設計

光線投射演算法是一種以影象空間為序的經典DVR演算法，在文獻【6】中由Levoy在1988年提出，由於其繪製出的影象質量最高，因而被廣泛研究與應用。其基本流程可以由圖2-4所概括：

在文獻【7】中，作者提出基於GPU加速的光線投影法，由於GPU與CPU 儲存方式的不同，在獲取三維體資料之後需要進行三維紋理繫結，再進行光線投射。利用可程式設計圖形處理器 GPU 實現體繪製光線投影演算法，並通過判斷光線是否穿過體資料場和增加光線終止判斷來減小計算量高繪製速度。通過實驗對比，該演算法的繪製效果與傳統的演算法幾乎沒有差別，但繪製時間卻大大縮短，因此在人工互動上也更加流程，尤其針對大數量影象序列時，更能突顯其優勢。其基本過程可以概括為圖2-5所示： 

2.3.3 泊松演算法及其改進

泊松方程自2006由Michael等人提出後，由於其高精度的求解方法而廣泛應用於醫學器官的重建，但是在重構演算法中存在著指示函式的誤差估計，基於此，在文獻【8】中，作者對泊松演算法的曲面重構提出改進，傳統的泊松演算法如圖2-6所示：

在以上演算法過程的基礎上加入尺度獨立的引數遮蔽，通過有效的調整,讓引數因子變得靈活多變,使得所改變的兩種變換引數不會影響最終結果。改進後的泊松演算法流程如圖2-7 所示： 

圖2-7 基於泊松方程的三維重建改進演算法流程

此外還有近年來比較熱的SFM的三維構造模型，基本流程為從圖片中提取焦距資訊，然後利用SIFT等特徵提取演算法去提取影象特徵，用kd-tree模型去計算兩張圖片特徵點之間的歐式距離進行特徵點的匹配，從而找到特徵點匹配個數達到要求的影象對。對於每一個影象匹配對，計算對極幾何，估計F矩陣並通過RANSAC演算法優化改善匹配對。但是較多應用於動態場景的構建，至今沒有找到應用在心臟重構上的例子。

2.4常用的影象分割方法的總結

在三維重構的過程中，離不開影象分割的協助，影象分割是指將影象中有規律的具有相似特徵的畫素劃分為一個相同的區域，這樣整個影象就會按照畫素的實際意義的不同分成一些小的子區域。經過國內外專家和學者的不斷改進和研究，影像分割的方法和技術在不斷進步，越越多的高效快速的方法湧現。在查閱大量文獻和演算法分析的基礎上，對各種醫學影像分割演算法的應用範圍和優劣之處總結如表2-2：

表2-2  影象分割方法總結比較

3.心臟的四維重構

3.1基於OCT的心臟小樑四維成像

在心臟的重構中，由於心臟小樑的幾何結構比較複雜，因此呈像困難，在文獻【9】中，Ming L C等針對心臟小樑的肌肉，提出了一種基於OCT的動態四維重構方法，實現了勾畫出小樑動態收縮和以及重構了它實時的幾何模型的過程。

其主要步驟為：

（1）先進行光學相干斷層掃描

（2）在相關裝置上對肌肉施加刺激

（3）使肌肉收縮，在收縮過程中，對變形進行跟蹤。

對於成像期收縮的穩定性：對於重建一個單收縮的幾何模型，整個成像週期中肌肉收縮沿肌肉的重複長度是很重要的。這一要求是通過比較收縮週期中相同肌肉位置和相位的OCT截面圖像，利用相似度量，即絕對差和（SAD）定義的：

               （3-1）

作者通過將多個收縮的影象資料重建成一個有代表性的四維收縮動態模型，這種模型簡單有效，其缺點是由於OCT解析度低，追蹤到的肌肉運動形態與實際並不完全一致。

3.2基於SPECT的心臟重構4D時空模型

在文獻【10】中提出了一種基於SPTCT影象和自適應NML去噪的心臟4D重構方法，該方法利用序列中不同心臟門之間的公共訊號分量，利用NML進行去噪。該方法的成像模型可以描述為：

其中和代表從原影象獲得的向量資料，K代表柵間隔數，代表散射部分，H為系統矩陣，E [⋅]是期望。

其通過NLM去噪來進行NLM重建的過程可以描述為：

（1）從g中確定f，採用MAP的方式估計：

              (3-2)

（2）為了實現自適應空間和時間的平滑，採用了先驗Gibbs的方式確定p(F)：

                      (3-3)

（3）用於控制去噪級別的引數,定義如下:

              (3-4)

 (4)是在i的空域的鄰域中的NLM的濾波輸出，定義如下：

(3-5)

其中第一個加項和是體素i在k柵內的鄰域的體素的加權平均值。

第二相加項是體素i在相鄰柵k’(k+1或者k-1)柵內的鄰域的體素的加權平均值，Z是具有統一直流增益的濾波器。

（5）權重因子和用來測量測量體素i和體素j之間的相似度，定義如下：

            (3-6)

             (3-7)

（6）泊松可能性對於發射斷層成像的特點P(G;F)進行泊松可能性假設，在第二步中的MAP估計可以通過最小化得到：

        (3-8)

將這種方法與模擬NCAT成像資料和兩組臨床資料比較，結果表明提出的4D方法可以比motion-compensated 4D重建更有效地改善心臟壁的噪聲水平和空間解析度，且對噪聲抑制具有較強的魯棒性。

4.心血管病變的診斷方法  

4.1基於MR影象對於心臟病預測的機器學習模型

文獻【11】中，J. W. Dawes研究了一種基於心臟的三維收縮運動模型，通過有監督的的機器學習來判斷肺動脈高壓患者的存活率和右室衰竭的機制。此研究是基於MR心臟成像，基於Atlas分類器分割方法建立了RV結構的右心室三維模，採用時域稀疏自由格式配準方法，對舒張末期和收縮末期兩個時間點的心臟運動進行三維運動重建。其大致機制可以表示為如下圖4-1所示：

圖4-1 MR影象對於心臟病預測的機器學習模型

最終結果顯示模型的預測能力達到較好水平，但是這個機制有期侷限性其中包括所有pH非例，所有的治療方案，可能會限制性地選擇團體，但是這個方法在有效的在整個頻譜的疾病和治療被證明是有效的。

4.2建立血流動力學框架對心血管病變進行預測

在文獻【12】中，Wong K等通過對心血管的重構以及建立血流動力學框架來對心血管功能進行分析評估。綜述了最新的醫學成像和高保真多物理計算分析，它們共同幫助重建心血管結構和血流動力學模式。這種成像方法能夠幫助心臟三維模型重建和心血管結構的血流引數的計算。最後結果證明這個框架可以應用到目前的醫學影象診斷，通過完善的模型計算以確定適當的血流動力學指標。下圖4-2展示了本文醫學成像的流程圖，圖4-3展示了幾何重建和高效能運算血流引數：

圖4-3 計算血流引數流程圖

4.3基於四維MRI影象對心血管疾病的預測

隨著技術的發展，心臟的四維PC-MRI影象在醫學上對於心臟病的診斷顯現出巨大的臨床價值，它能夠測定在心臟週期內三維血流及其變化，心臟的血流及其周圍血管的變化可以作為心血管病變的依據.為此，在文獻【13】中，作者對於4D PC-MRI資料集進行了量化和定性分析。其中資料集包含時間分辨、三維血流方向的條件和優勢，促進對定性定量資料的全面分析。量化心率等措施有助於評估心臟功能和監測病情進展。定性分析允許研究異常的流動特性，如旋渦等。處理資料包括複雜的影象處理方法以及流分析和視覺化。心臟瓣膜的功能可以通過量化流量和確定是否有顯著的迴流來評估, ，因此對心血管疾病的診斷有很大的潛力。每個心跳的泵血用來評估心臟的泵血容量。通過文獻提供的從資料的測量處理和視覺化和量化方法的概述，其他研究人員可以迅速趕上的話題，進一步研究4D PC-MRI潛力。

5.心血管診斷與人工智慧的例項

隨著人工智慧技術的成熟，使用了人工智慧的發展越來越在心臟病學和已經有幾個地區的優秀例項。

在文獻【14】中，Yoon J等首次將三維RI成像和機器學習結合，利用統計分類技術建立細胞型分類器，使用定量的形態和生化模式從個體淋巴細胞的RI影象三維提取資訊。E訓練分類器能夠識別三淋巴細胞的細胞型別且具有很高的敏感性和特異性。

在文獻【15】中Li Q使用複雜的學習系統對心電圖進行解釋，實現了對異常節律分類的自動識別，最終結果顯示識別準確率達88%.

在文獻【16】中，作者通過為肥厚型心肌病的超聲心動圖資料做標記，使其與運動型心肌自動進行區別。用支援向量機，隨機森林，和人工神經網路3種不同的機器學習演算法的整合機器學習模型和多數投票法對預測結果進行進一步的交叉驗證。實驗結果表明，這個機器學習系統能夠有效區別病理性心肌肥大和心肌壯健。這也是基於機器學習的超聲心動圖影象自動判讀系統的發展邁出的重要一步。

在文獻【17】中，作者構建的機器學習系統，能夠通過對心肌灌注掃描的資料對心血管進行重建。最終結果顯示這個系統構重構的心血管系統精度與經驗豐富的主治醫師不相上下，甚至略勝一籌。

但是人工之能在複雜的臨床環境中仍然有很長的路要走，例如在文獻【18】中奧斯丁等人6使用機器學習和資料探勘系統對心力衰竭患者進行評估和分類，發現儘管該系統優於傳統的保留射血分數的心力衰竭預測方法，但與傳統線性迴歸相比沒有優勢。

在文獻【19】中劉等人提出了一種機器學習系統，該系統能夠對在急救室的胸痛患者心臟冠狀動脈病變進行預測，並且與TIMI評分系統做了比較。儘管結果表明新系統對於預測30天內的死亡率和心臟病變較為可靠，但作者們承認，臨床診斷仍取由不能完全納入機器的因素決定，其中最重要的是醫生的經驗。

6.結論

本文從醫學影像學與計算機技術的結合方面開始論述，分別討論了心臟的三維重建、四維重建以及利用人工智慧技術結合醫學影像學對心臟方面的疾病做出預測與診斷。醫學與技術的結合為無數患者帶來新的希望，對疾病的預訪、早期診斷、確診治療做出巨大的貢獻。

心臟的三維與四維重建技術一直在臨床教學、臨床診斷、外科手術的計劃和模擬、放射治療計劃的制定等應用上起著重要作用，但當前的醫學影像三維重建以及輔助診斷系統普遍存在重建速度慢，過度依賴於硬體配置、特定組織重建效果不理想、大資料量序列影象重建失敗等問題，如何在保證繪製質量的同時高繪製速度、如何快速高效地進行特定組織重建仍是三維重建技術急需解決的問題。而心臟的四維重構技術也不夠成熟，由於心臟構造的複雜性更為構造帶來了困難。而計算機輔助診斷技術在臨床的複雜環境中，還是不能替代醫生的經驗。因此醫學影像學與人工智慧的結合還有很長的路要走。

7.參考文獻

【1】Esteva A, Kuprel B,Novoa R A, et al. Dermatologist-level classification of skin cancer with deepneural networks[J]. Nature, 2017, 542(7639):115-118.

【2】Kermany D S, GoldbaumM, Cai W, et al. Identifying Medical Diagnoses and Treatable Diseases byImage-Based Deep Learning[J].Cell，2018, 172:1122–1131.e9.

【3】Lin J H, Wang L, Wang Y J. A Hierarchical Optimization Algorithm Basedon GPU for Real-Time 3D Reconstruction[J]. 3d Research, 2017, 8(2):16.

【4】Lorensen W E, Cline H E. Marching cubes: A high resolution 3D surfaceconstruction algorithm[C]// Conference on Computer Graphics and InteractiveTechniques. ACM, 1987:163-169.

【5】Liu W F, Yang Q Y, Cao B G, et al. Highly Parallel Marching CubesAlgorithm Based on GPU[J]. Microelectronics & Computer, 2008,25(9):151-154.

【6】Levoy M. Volume rendering, display of surfaces from volumedata[J]. IEEE Computer Graphics & Applications, 1988, 8(3):29-37.

【7】Kruger J, Westermann R. Acceleration techniques for GPU-basedvolume rendering[C]// Visualization, 2003. Vis. IEEE, 2003:287-292.

【8】Wang Y, Cao J, Lou Z. An improved 3D surface reconstruction methodand it's parallelization[J]. Computer Era, 2017

【9】Ming L C, Anderson A J,Han J C, et al. Four-Dimensional Imaging of Cardiac Trabeculae Contracting InVitro Using Gated OCT[J]. IEEE transactions on bio-medical engineering, 2016,64(1):218-224.

【10】Song C, Yang Y, WernickM N, et al. 4D reconstruction

of cardiac SPECT using a robust spatialtemporal prior[C]// IEEE, InternationalSymposium on Biomedical Imaging. IEEE, 2017:1185-1188.

【11】 Tjw D, De M A, Shi W, et al. Machine Learning of Three-dimensionalRight Ventricular Motion Enables Outcome Prediction in Pulmonary Hypertension:A Cardiac MR Imaging Study[J]. Radiology, 2017, 283(2):161315.

【12】Wong K K L, Wang D, Ko J K L, et al. Computational medical imaging andhemodynamics framework for functional analysis and assessment of cardiovascularstructures[J]. Biomedical Engineering Online, 2017, 16(1):35.

【13】Köhler B, Born S, Van Pelt R F P, et al. A Survey of Cardiac 4D PC‐MRI Data Processing[C]// Computer Graphics Forum.2015:139-148.

【14】YoonJ, Jo Y J, Kim M, et al. Identification of non-activated lymphocytes usingthree-dimensional refractive index tomography and machine learning[J]. Sci Rep,2017, 7(1):6654.

【15】Li Q, Rajagopalan C, Clifford G D. A machine learning approach tomulti-level ECG signal quality classification[J]. Comput Methods ProgramsBiomed, 2014, 117(3):435-447.

【16】Narula S, Shameer K, Salem Omar A M, et al. Machine-Learning Algorithmsto Automate Morphological and Functional Assessments in 2D Echocardiography[J].Journal of the American College of Cardiology, 2016, 68(21):2287-2295.

【17】Arsanjani R, Dey D, Khachatryan T, et al. Prediction ofrevascularization after myocardial perfusion SPECT by machine learning in alarge population.[J]. Journal of Nuclear Cardiology, 2015, 22(5):877-884.

【18】 Austin P C, Tu J V, Ho J E, et al. Using methods from thedata mining and machine learning literature for disease classification andprediction: A case study examining classification of heart failuresub-types[J]. Journal of Clinical Epidemiology, 2013, 66(4):398-407.

【19】Liu N, Lee M A, Ho A F, et al. Risk stratification for prediction ofadverse coronary events in emergency department chest pain patients with amachine learning score compared with the TIMI score[J]. International Journalof Cardiology, 2014, 177(3):1095-7.

【20】Chen Y, Sun P. TheResearch and Practice of Medical Image Enhancement and 3D ReconstructionSystem[C]// International Conference on Robots & Intelligent System. IEEEComputer Society, 2017:350-353.

【21】.Gabriel Kiss, ErikSteen. GPU volume rendering in 3D echocardiography: real-time 
pre-processing and ray-casting [J]. IEEE International UltrasonicsSymposium Proceedings, 
2010,193-196 


【22】Zhuang X, Rhode K S,Razavi R S, et al. A registration-based propagation framework for automaticwhole heart segmentation of cardiac MRI [J], Medical Imaging, IEEE Transactionson, 2010, 29 (9):1612-1625.


【23】Weng S F, Reps J, Kai J, et al. Can machine-learning improvecardiovascular risk prediction using routine clinical data?[J]. Plos One, 2017,12(4):e0174944.

【24】Kazhdan M, Hoppe H. Screened poisson surfacereconstruction[J]. Acm Transactions on Graphics, 2013, 32(3):1-13.

【25】Charles R Q, Hao S, Mo K, et al. PointNet: Deep Learning onPoint Sets for 3D Classification and Segmentation[C]// IEEE Conference onComputer Vision and Pattern Recognition. IEEE Computer Society, 2017:77-85.(3D)

【26】Cremers D. Direct methods for 3D reconstruction and visualSLAM[C]// Fifteenth Iapr International Conference on Machine VisionApplications. IEEE, 2017.SLAM