混合現實手術規劃模擬系統——阿里雲資源+MR技術在醫療行業的典型應用
作者：阿里雲MVP、北京科雲互聯科技有限公司副總裁閻雨農
“未來，更希望能夠把微樂的這項技術再全省各醫療機構，特別是基層醫療機構的專家們，讓他們更早地能夠學習，應用這項技術，在日常工作中，讓更多得患者能夠感受到數字醫學發展給他帶來得益處。”
——李偉教授（雲南省第一人民醫院，雲南省腎癌診治轉化醫學工程技術研究中心教授、主任）
“利用混合現實手術規劃模擬系統，在三維重建技術輔助下進行評估的基礎上，用混合現實引導技術幫助醫生精準切除了肝腫瘤，將腫瘤切除乾淨，又儘可能保患者肝臟功能不受影響。手術完成後，藉助立體直觀的三維影像，向患者及家屬講解病情。”
——王峻峰主任（雲南省第一人民醫院數字醫學研究室主任、肝膽外科副主任醫師）
科雲微樂混合現實手術規劃模擬系統
——MR技術+阿里雲資源在醫療行業的應用場景
1. 混合現實手術規劃模擬系統介紹
科雲微樂混合現實手術規劃模擬系統，是一款主要用於外科手術方案規劃和模擬的現代醫學影像控制系統，以及與之配套的雲服務平臺和資料服務的總稱。藉助三維影象技術、混合現實技術、人機互動技術等一系列前沿計算機科技，將患者身體的各個組織、器官，以直觀、準確的視覺化三維圖形呈現在混合現實裝置中，並提供了一系列數字模擬工具，使手術醫生可以在此資料的基礎上，對即將進行的手術進行模擬，從而更好的制定手術方案並與他人交流溝通，大大提高手術成功率，降低手術風險，搭建醫患溝通理解的橋樑。
1.1 核心功能及流程
平臺由醫生平臺、運營平臺、客戶端介面三個部分組成。醫生平臺主要用於醫生上傳影像資料；運營平臺主要用於運營人員處理影像資料並生成三維模型；客戶端介面主要用於醫生下載模型和檢視病歷。平臺服務流程如下圖：
流程說明
1：可以通過開啟瀏覽器輸入網址或點選MR客戶端按鈕進入醫生後臺。
2：填寫影像資料，主要填寫病人病歷，以便醫生在MR客戶端進行手術規劃時檢視；醫生選擇必要的影像檔案，壓縮成zip包，上傳伺服器。
3：醫生上傳影像及資料會儲存到伺服器的公用資料庫和資料夾中，系統會提醒運營人員有影像資料需要處理。
4、5、6、7、8：運營人員登入運營後臺，驗證影像資料和檔案的完整性，如果有欠缺，運營人員則拒絕本次服務並以系統資訊的方式通知醫生，一旦資料完整，運營人員則下載影像資料並進行處理，用三維重構軟體生成三維模型，然後上傳伺服器，填寫必要的模型資料後釋出模型。
10、11、12、13：醫生通過MR客戶端登入系統，則會看到自己賬號下的三維模型，可以點選模型檢視對應的病人病歷，同時可以下載模型進行手術規劃。
1.2 系統業務架構
雲中心接收各醫院科室上傳的醫學影像平面資料（CT、MRI等），將資料儲存、分類標識、資料處理分析和歸檔，隨後醫院醫生便可直接再將歸檔後的資料用客戶端下載後使用。雲中心除了儲存醫學影像資料之外，還負責收集存檔每個病例的病人和病情資訊，形成雲端醫學資料庫。
2. 系統亮點
2.1. 真實患者資料三維重建
本系統提供的三維資料均為患者真實資料，由醫院提供的CT、MRI等平面斷層掃描影象序列疊加建模而來，保證資料的客觀性和準確性。
2.2. 消除醫學影像誤差
以客觀科學的技術手段取代傳統的主觀想象，使術者能夠直觀的看到患者體內器官組織的立體影像，並對其進行各類模擬操作。計算機生成的視覺化三維資料，不僅高度準確，且能夠儲存和再現，相對於醫生的想象和構建患者體內結構，無疑是一種更客觀、現代，徹底消除主觀誤差的科技手段。
2.3. 術前可多次實施操作
可儲存和再現的三維資料，可按順序記錄每一次模擬操作，並可回滾操作，使術者可在手術前反覆論證手術方案，尋找最有效和安全的治療方案。
2.4. 解決醫患溝通問題
面對醫療知識匱乏的患者和患者家屬，溝通和信任問題一直都是醫患之間難以跨越的鴻溝，也因此曾導致了很多惡性事件，對醫院和醫生都造成了很多不必要的物質和精神負擔。直觀的醫療影像，不僅能在實際醫療中起作用，也能讓醫生以更直觀清晰的方式向患者和家屬講解病情狀況和手術方案，讓患者和家屬更容易理解所採用的治療手段的重要性和現實條件，從而降低溝通成本和溝通難度。
2.5. 高效新穎的醫療教學手段
因醫療和教育條件及資源有限，外科實習醫生和醫學院學生的臨床手術機會相對較少，而本系統使用的資料均來源於真實的患者病例，因此具有極高的醫學教育價值。實習醫生和學生可以在資深醫生的指導下，直接看到資深醫生對於病情的分析過程和手術方案確定過程，提高其學習的效率。同時，資料庫中大量的過往病例，在獲得相應的許可後，也能夠成為臨床醫學教育及模擬實操的珍貴資源。
3. 系統目標
整個系統已經完成第一階段的目標：CT、造影等技術獲得的影像圖片傳輸到雲平臺，通過手動的方法建立3D影象輸出給主治醫生，輔助醫生快速查詢病原，並能幫助檢查可能遺漏的病變部分，通過對手術的模擬，迅速制定手術方案
第二階段計劃通過大量的醫學影像資料，經過機器學習訓練機器智慧讀片，匯出各種病例的資料特徵及影象特徵，做影象對比，判斷病原並給出病變範圍，給出手術模擬過程和手術建議主治醫生，供主治醫生決策。
整個系統的終極框架如下：
第一階段使用的產品如下：
ECS用於網站、三維重構軟體 3D建模
OSS用於影像儲存
RDS用於病員、病歷、病案、醫生和工作人員
Redis用於半結構化影像管理
MemCache用於快取
當用戶數量到達一定的規模後，還計劃使用的產品如下：
負載均衡SLB用於ECS叢集的負載分擔及高可用
高防IP、雲防火牆、態勢感知和安騎士用於雲平臺的安全防護
MaxCompute和機器學習PAI用於病例分析、特徵提取和病例歸類
資料視覺化用於病例的直觀化統計顯示
影象搜尋用於快速檢索病例