2018年上半年,解放軍總醫院泌尿外科張旭教授團隊,將混合現實(Mixed Reality, MR)技術與機器人微創手術技術相結合,在三亞成功完成一例混合現實遠程協作機器人手術,據文獻調研,此項技術當屬世界首例。
什么是MR混合現實技術?
混合現實技術(MR)既包括增強現實(AR)也包括虛擬現實(VR),該技術通過在現實場景中引入虛擬信息,合并現實和虛擬世界而產生的新的可視化環境,在此環境中實現物理和數字對象共存,并實時互動,以增強用戶體驗的真實感。
MR技術是影像技術發展的熱點,能夠使醫學影像數據從2維平面升級到3維立體,有利于對數據信息的深度挖掘,使醫生能深度認知病灶與各組織器官的空間位置關系,其虛擬與真實場景的互動,使有效的影像數據在手術過程中全面自然呈現,在醫學領域大有可為;機器人手術是目前公認的微創技術發展方向,立足于醫院優厚的資源與自身在微創技術領域的優勢,致力于混合現實技術在機器人手術中的應用研究,在原有基礎上進一步拓展,成功完成了全球首例混合現實技術遠程指導機器人手術,使得患者影像數據、手術方案、手術實時影像、現場指導等諸多因素在同一空間內實時呈現、融合并傳遞,不僅開啟了醫生解讀患者內部結構的全新方式,而且開啟了醫學交流的全新模式,更是開啟了醫療智能化的新生態。

MR混合現實協作機器人腫瘤切除手術成功實施
術前,手術團隊,利用混合現實技術在北京解放軍總醫院院本部張旭、馬鑫教授的指導下,制定了精密的手術方案。討論過程中,醫生佩戴HoloLens混合現實眼鏡時,看到了基于該患者影像數據重建的立體模型以及代表遠程醫生的虛擬人物,異地醫生突破了時空約束,在同一個物理環境中,討論了病情,制定了計劃。
制定計劃之后,醫生與患者溝通,患者和家屬都佩戴混合現實眼鏡,觀看基于患者影像數據重建的立體病例,醫生給患者和家屬講解手術方案,告知手術的風險,使家屬能夠直觀了解手術的必要性、過程及風險,使醫患合作與溝通更加順利流暢。
術中,手術團隊利用混合現實技術云平臺—星云,和北京方面直接連線,將術中真實場景與虛擬的患者的解剖模型相融合,再傳遞給北京的馬鑫教授,馬鑫教授利用星云平臺進行現場指導,實時傳遞回三亞,并與機器人手術影像實時融合,投遞進機器人手術視野,確保手術的成功、安全完成。