超擬真混合現實是什么?

超擬真混合現實(Hyper-Realistic Mixed Reality)是在混合現實(MR)技術基礎上進一步發展而來?;旌犀F實是將真實世界圖層與虛擬世界圖層進行疊加之后產生的新的可視化環境,主要用于體驗與互動;而 “超擬真混合現實” 則更強調對現實世界和虛擬世界融合高度逼真的融合與呈現,虛擬元素與現實場景的結合達到幾乎難以區分的程度,使用戶獲得極其真實的體驗。主要應用在商業拍攝、商業直播、婚紗寫真等對超擬真視覺感有訴求的應用賽道。

原理

1、數字空間制作

數字空間一般是超擬真混合現實技術方案執行的背景部分,可以通過AIGC來制作完成,也可以通過3D建模渲染來獲得。這些3D空間,需要準確地理解現實環境的幾何結構、光照條件、物體材質等信息,為虛擬元素的融合提供基礎。 根據應用的需要,數字空間可以是靜止的圖片、動態的視頻、無限循環的實時渲染的時空這三類。

2、實物前景層

前景層一般是指真實人物(如主播),真實物理道具(如桌子)等,他們作為前景層需要與數字空間作為的背景層進行融合。為了獲得最佳的視覺體驗,前景人物的服化道與前景素材的風格、樣式、顏色選擇,需要跟數字空間相匹配,以獲得最佳的視覺效果。

3、超擬真融合

將前景真實層與背景虛擬層在比例尺與透視關系、光影與光場關系、視角與縮放關系、虛實互動關系上進行逼近現實的處理,通過渲染引擎進行合成,即可獲得超擬真融合之后的實時畫面。

超擬真融合將就的是對真實世界的復刻,因此需要在物理規律、審美原則、感知原則等方面進行擬真化,讓最終的輸出內容有與真實世界媲美的視覺等級,以達到商業用途。

4、實時跟蹤與定位

為了確保前景真實元素能夠準確地疊加在數字場景中,并且隨著用戶的視角和位置變化而實時更新場景,需要強大的跟蹤與定位技術,這些定位技術可以通過算法或物理元件實現。這包括對用戶頭部、手部、身體等部位的運動跟蹤,以及對設備在空間中的位置和方向的定位,從而實現前景元素與虛擬背景世界的精準匹配和互動。

5、實時渲染

根據商業目標的需要,需要對最終的超擬真混合現實的產物進行實時輸出渲染,他們包含大分辨率圖片、高幀率視頻流兩部分,因此需要搭建匹配渲染算力的本地計算設備套件,并且對渲染的產物進行存儲與發送。

應用

1、數字直播間

通過超擬真混合現實技術來實現商用的數字直播間的搭建,可降低運營建設成本,提升品牌的視覺競爭力與差異化,還可以基于平臺的訴求深度運營。

2、平面制作

在商業拍攝,婚紗寫真拍攝的時候也可以使用到超擬真混合現實技術,以降低實景拍攝的綜合成本,規避優質場景資源的缺乏。

3、實時演播

基于超擬真混合現實的跟蹤定位技術,可以進行商業走秀、影視作品的拍攝,以降低制作成本,提升制作內容的品質與差異化。