Labels on Levels: 稠密的多尺度多例項的三維生物環境的標註 (Labels on Levels: Labeling of Mul...
對於大規模介觀生物資料，其往往具有稠密、多尺度、多例項三種特性。稠密，即資料具有很少空白空間；多尺度，即資料跨越許多不同長度尺度；多例項，即資料中含有許多相同種類的物體。本文[1]首次提出了一種對具有上述特性的資料進行實時標註的方法，且此方法中，標籤位置隨使用者對體資料的縮放、平移操作可以連續地變化。
圖1 擁擠的多尺度多例項的三維生物環境的標註
本文的工作流程圖如圖2所示。具體可分為渲染、多尺度步（multi-scale step）、多例項步（multi-instance step）、標註步（labeling step）四個步驟。
圖2 工作流程圖
本文改進了Le Muzic等人工作[2]中考慮細節層次的體渲染方法，對具有多尺度層次的體資料進行渲染，並在過程中獲得最終渲染結果中每個畫素的類別、物體ID、物體深度、顏色屬性。
多尺度步使用上述類別快取影象，物體ID快取影象、物體深度快取影象，及多尺度層次結構資訊作為資料，輸出標籤層級快取影象（label levels buffer）。具體地，依據深度快取影象獲得每個畫素與螢幕間距離。對於同一類物體，距螢幕越遠，將其標為越高層級的類別；距離越近，將其標為越細節層級的類別，如圖3所示。
圖3 根據物體與螢幕距離決定物體標註層級
多例項步以上述包含物體深度的標籤層級快取影象作為輸入，在每類物體中選出一個作為代表作為標註物件。對同一類別的物體，對其在顯著性、與螢幕距離、與邊界距離、與上一幀中位置四個方面進行打分，選取四項得分乘積高者作為代表，在下一步中進行標註。
標註步中，選取待標註物體的中心作為標籤中心，根據標籤層級及待標物體距螢幕距離決定標籤文字大小，將標籤標註於物體表面。標籤可不包含其標註物體的深度資訊，也可包含此資訊，如圖4所示。其中包含深度資訊的標籤可以增強標籤作為3D物件的感知，也有助於標籤與標註物件之間的關聯。此外，為使使用者探索過程（縮放、平移、旋轉）中標籤的變動具有連續性，與每一次互動前相比，對於新增及需要刪除的標籤採用淡入淡出的過渡形式；對於互動前後均存在的標籤，固定其與標註物體的相對位置，於互動後重新計算並平滑地更新位置。
圖4 不包含（左）與包含（右）深度資訊的標籤
本文使用血漿中HIV病毒資料作為輸入體資料。此資料包含39個種類的多於30000個蛋白質，並具有6級的層級結構。標註效果如圖5所示。
圖5 HIV病毒資料在不同尺度下的標註效果
總的來說，本工作首次實現對多尺度多例項的稠密生物資料進行標註，並在互動中，標籤可實時重定位。
參考文獻
[1] Kouřil D, Čmolík L, Kozlíková B, et al. Labels on Levels: Labeling of Multi-Scale Multi-Instance and Crowded 3D Biological Environments[J]. IEEE transactions on visualization and computer graphics, 2018.
[2] M. LeMuzic, L. Autin, J. Parulek, and I. Viola. cellVIEW: a tool for illustrative and multi-scale rendering of large biomolecular datasets. In Eurographics Workshop on Visual Computing for Biology and Medicine, pages 61–70, sep 2015.